孩子（27个月的女孩）的抚养权在女方，男方每月按要求支付给女方抚养费。并无拖欠现

孩子（27个月的女孩）的抚养权在女方，男方每月按要求支付给女方抚养费。并无拖欠现象。但离婚后，女方将孩子交给生活在牧区的姥姥家，女方在市里无工作，无直接收入，经常打麻将，并和其它男士同居（男士是否有家庭未知）。所以，孩子的父亲想把孩子的抚养权要回来，这个情况下，可以么？也就是说，打官司要回孩子的抚养权，需要什么样有力的证据，证明孩子的母亲没有行使抚养权。