可以的，当男方的生活条件更有利于孩子健康成才时，男方主张要回抚养权，法院是可能支持的。有下列情形之一的，人民法院也会支持：
1、与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的；
2、与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响的；
3、十周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的；
4、有其他正当理由需要变更的。
【法律条文】:
《中华人民共和国民法典》：
第一千零六十七条 【父母的抚养义务和子女的赡养义务】父母不履行抚养义务的，未成年子女或者不能独立生活的成年子女，有要求父母给付抚养费的权利。
成年子女不履行赡养义务的，缺乏劳动能力或者生活困难的父母，有要求成年子女给付赡养费的权利。
《中华人民共和国民法典》：
第一千零六十七条 【父母的抚养义务和子女的赡养义务】父母不履行抚养义务的，未成年子女或者不能独立生活的成年子女，有要求父母给付抚养费的权利。
成年子女不履行赡养义务的，缺乏劳动能力或者生活困难的父母，有要求成年子女给付赡养费的权利。
