可是合同是买家自愿和我签的,他不买了应该是他违约吧,我按合同规定不退还他定金,对吗？

各位律师：
我把我的房子卖给了一个人，通过中介签了买卖合同，按合同规定买家先付了五万定金，后来又付了部分房款，还剩下5万没付，按合同是5月8号付完全款，我给买家办理过户手续。但4月17号买家跟我说发现我的预售许可证不是我这个房子的预售许可证，也就是说我的房子没有预售许可证，说我违约，要求退房，退还定金和房款，并按合同两倍退还订金。我的房子是跟开发商签的预售合同买的。我也不知道那预售许可证不是这房子的，我也被开发商骗了。可是合同是买家自愿和我签的，他不买了应该是他违约吧？我按合同规定不退还他定金，对吗？