Si es que se habían casado puedes pedir el divorcio por la separación conyugal de más de dos años, sólo tendrías que probar el tiempo de separación y nadamás, si no pues entonces sólo tienes que pedir judicialmente que el pierda la patria potestad de tu hija por las causas que mencionas, aunque no pidas alimentos para ella probablemente los solicitarán de oficio para ella, también puedes pedir la restricción de visitas y contacto de él con yu hija por los malos ejemplos que pueden darle y eso de que hasta llegaba borracho cuando se la llevaba pues es inducirla a los vicios y hasta un delito puede resultar de ahí, te aconsejo que busques un abogado para que te asesore bien en el trámite.