银行没批我的贷款,我想退首付,房产的人说要扣百分之二十的违约金,请问这样合理吗？

合同约定违约金超过百分之二十一般是有效的，合同约定违约金应以守约方的实际损失，以调整到实际损失的130%为原则，如果超过实际损害的百分之二十，一般是可以认定为有效的。《最高人民法院关于适用若干问题的解释(二)》
第二十九条规定，当事人主张约定的违约金过高请求予以适当减少的，人民法院应当以实际损失为基础，兼顾合同的履行情况、当事人的过错程度以及预期利益等综合因素，根据公平原则和诚实信用原则予以衡量，并作出裁决。当事人约定的违约金超过造成损失的百分之三十的，一般可以认定为合同法
第一百一十四条
第二款规定的“过分高于造成的损失”。《合同法》
第一百一十四条规定，当事人可以约定一方违约时应当根据违约情况向对方支付一定数额的违约金，也可以约定因违约产生的损失赔偿额的计算方法。约定的违约金低于造成的损失的，当事人可以请求人民法院或者仲裁机构予以增加；约定的违约金过分高于造成的损失的，当事人可以请求人民法院或者仲裁机构予以适当减少。当事人就迟延履行约定违约金的，违约方支付违约金后，还应当履行债务。