结婚前我出轨了，婚后和那个男的有联系，当时我写了两本日记，日记一直留在家里，婚后一年那两本日记我忘记了，被我公公给翻了出来，拿给我老公看了，我老公非要和我离婚，我早已不和那个男的联系了，我现在只想和老公好好过日子，可他非要和我离婚，结婚前我们买了一套楼，首付是他家出的，但是房产证上写的我的名字，如果真的离婚了，这房子能归我吗？