离婚后，男方要求女方退回结婚时属于男方的金器，女方有没有义务退回

离婚女方可以不归还金器，前提是金器不是彩礼范围。根据法律规定，双方办理结婚登记手续但没有在一起共同生活，离婚时男方可以要求女方归还彩礼；离婚时，女方不归还彩礼会导致离婚后男方生活困难的，女方也应当归还彩礼。

相关法律依据：
当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：
（一）双方未办理结婚登记手续；
（二）双方办理结婚登记手续但确未共同生活；
（三）婚前给付并导致给付人生活困难。