Buenas Tardes.  
           

              Mi opinion es que puedes demandar a tu conyugue  por la via penal por el Delito de Incumplimiento de Obligaciones Familiares.
                Haciendo enfacis  de que la patria potestad  es renunciable cuando el Juez dicte una sentencia definitiva (solo cuando el lo dicte).    
                De igualmanera tambien puedes demandar por la via civil, promoviendo un divorcio necesario por  abandono de hogar y por Incumplimiento de las Obligaciones Familiares.      

                Espero y te sirva mi ayuda