Si el régimen matrimonial fue por bienes separados, y el inmueble se adquirió durante el matrimonio, no hay forma de hacerlo, a menos que alguno de mis colegas tenga opinión diversa. Y aún menos estando a nombre de tu aun esposo.

Verifica en el código civil de tu estado si es causal de divorcio el adulterio de la parte contraria, por lo que tengo entendido si opera, pero es dificil comprobar dicha causal. 

Corporativo Jurídico Frias, S. C.