现在是他不肯退我当时投的钱，怎么办?

一般采取民事途径解决，可向法院起诉要求返还财产。另外，刑法上有侵占罪的规定，（即以非法占有为目的，将他人的交给自己保管的财物、遗忘物或者埋藏物非法占为己有，数额较大，拒不交还的行为。）本案中，如果对方拒不交还的意图明确，可以直接向法院起诉告其侵占罪。侵占罪是自诉罪，需本人直接起诉。