不直接抚养孩子的一方需要支付抚养费，抚养费的多少由双方协议。夫妻离婚时，即便达成协议，约定子女由一方抚养，另一方不支付子女抚养费，但这并不妨碍直接抚养孩子的一方在必要时要求对方给予抚养费。
抚育费的给付期限，一般至子女十八周岁为止。十六周岁以上不满十八周岁，以其劳动收入为主要生活来源，并能维持当地一般生活水平的，父母可停止给付抚养费。
综上，离婚时如果孩子归男方，女方需要支付抚养费。
【法律条文】:
《关于人民法院审理离婚案件处理子女抚养问题的若干具体意见》：
8、抚育费应定期给付，有条件的可一次性给付。
