Por lo que precisas en tu escrito,  mencionas que te amenazó que te va a quitar a tú hija, lo que debes de hacer es promover un juicio de guarda y custodia sobre la niña, a fin de que el juez decrete que ella deberá de estar bajo tu cuidado, legalmente hablando. Así él no podrá sustraerla de tu lado. Ya que en caso de hacerlo podría incurrir en una conducta penal. 

Ahora bien, por lo que dices que nunca se hizo responsable de ella, creo que te refieres a que no le daba pensión alimenticia, es decir, dinero para su educación, vestido, sustento, etc. Puedes demandarlo aún, siempre y cuando quieras hacerlo.

Las dos acciones que te comenté, las puedes ejercitar juntas, busca un buen colega. suerte