La casa es tuya por contrato con el infonavit asi como el adeudo, otro punto que no mencionas es cuanto te pagaron por la vivienda que esto podría ser un punto vital, necesitas dar mas detalles de tu operación con estas personas, y el documento que ellos tienen esta a tu nombre aunque solo sean una copia de las escrituras, me imagino que todo esto nunca se hizo ante un notario por lo cual esto se pudo hacer como lo cuentas.