Buenas noches, por infidelidad no puede proceder en tu contra, pero en cuanto al hijo que procreaste tu ex pareja puede promover un juicio de paternidad para comprobar si el hijo es de él y de ser así tendrá todos los derechos y obligaciones de un padre y si tú das causa para que promueva la pérdida de la patria potestad él también puede demandarla, una de las causas sería que no atendieras bien al menor, que lo pusieras en riesgo, que fueras adicta a alguna droga, etc. Saludos.