No te pueden quitar la Patria Potestad de tu hijo (a menos que representes un peligro para él, ejemplo, seas una drogadicta, alcohólica, demente, etcétera), siempre serás su madre y eso nadie podrá cambiarlo, sin embargo, esto es muy diferente a la Guarda y Custodia de tu hijo que invariablemente lo tendrás que compartir con el "Padre" pues éste último también tiene derecho de verlo y convivir con él, esto no implica que puede llevárselo y que no lo veas nunca más, pues eso podría implicar un delito grave y sancionado con prisión.

Ahora bien, que a estas alturas argumentes que el Abuelo no es el papá, no es creíble y es muy díficil de demostrar, máxime si en una Prueba de ADN, pueda surgir la compatibilidad de sus genes (pues recuerda que el hijo del abuelo si es el padre de tu hijo, vamos, existe la alta probabilidad de coincidir en genes o ADN), te sugiero llegues a un Convenio sobre los días y horas en las que puedas compartir la Guarda y Custodia del bebé, por otro lado, puedes demandar la pensión alimenticia al Abuelo, porque legalmente es el Padre (si es así lo reconoció en el Acta de Nacimiento de tu bebé), te sugiero que te asesores de un Abogado Civilista, si no tienes recursos economicos, puedes pedir un Abogado de Oficio, o bien, Acudir al DIF de tu localidad a pedir asistencia legal. Suerte.