Hola... La patria potestad solo podrá quitarsela si usted DEJA DE CUMPLIR CON SUS OBLIGACIONES ALIMENTARIAS motivo por el cual le sugiero que cuando las de (porque supongo esta dando aliemntos) deposite en un banco o en telegrafo para que haya constancia del hecho pues cuando ella demande la perdida de patria potestad por la negativa a dar aliemntos (Existen otras formas de perderla pero la mas facil es la de alimentos) usted tenga con que acreditar que es falso porque continua cumpliendo con dicha obligación y por ende no puede perder ese derecho. 

La paternidad NO PUEDE QUITARSELA si usted es el padre biologico. Si no lo es... entonces seguro perderá no solo la patria potestad, sino tambien la filiación, custodia y todo derecho para con la menor. Usted podrá demandarle a ella en materia penal por el delito de "Delitos contra la filiacion de las personas" el cual señala que se impondrá una multa y años de prision a quien imponga a un menor una filiacion que no le corresponde, pero eso no la detendrá pues al no ser un delito grave... sale bajo fianza y listo puede continuar con su tramite de sacar pasaporte y llevarse a la menor sin obstaculo alguno. 

La respuesta la tiene usted mismo... si es el padre biologico... pelee que no se la podrán quitar pero si no lo es... ni gaste tiempo dinero y esfuerzo pues al finalizar el proceso la menor se ira.

Saludos