男方有生理障碍导致离婚的,彩礼退还问题需根据具体情形判断。根据民法典婚姻家庭编司法解释,三种情形应返还彩礼:双方未办理结婚登记、办理登记但确未共同生活、婚前给付导致给付人生活困难。男方生理障碍本身不直接决定彩礼是否退还。如果双方已登记结婚并共同生活,但婚后发现男方有生理障碍导致夫妻感情破裂,女方要求离婚的,彩礼一般不予退还,因为女方并无过错。但如果男方在婚前隐瞒重大疾病(某些严重影响婚姻生活的生理障碍),构成婚姻可撤销事由,女方在法定期限内请求撤销婚姻的,可同时要求返还彩礼。法院判决时会综合考量双方共同生活时间、彩礼数额、有无子女、过错方等因素。