no hay delito a menos que se pruebe que los niños realmente se quedaron en tal abandono,  que estuvieron en peligro, par alo cual necesitas a un penalista, pero en este caso si hay alguien asignado a su cuidado, que no por el hecho de ser empleada domestica quiere decir que no los cuidara bien, sin embargo, si tu ex y tu tienen un convenio sobre visitas de tus menores hijos, podrias hacerlo valer, la patria potestad y custodia de los hijos corresponde por ley a los padres y solo por muerte de ambos pasa a los abuelos, lo cual no es el caso, pero comparto la idea de que consultes a un abogado especialista en la materia familiar.