但住在老家那边的人却找理由说我们搬出去那么久了,那块地就是他的了,这种情况下应该怎么处理?

如果双方在离婚时，已经确定了房产的居住或者使用权。那么另一方不离家的行为，明显是不履行离婚协议或者法院判决。当事人可以采取诉讼的方式解决。
根据《民事诉讼法》第二百三十六条规定，发生法律效力的民事判决、裁定，当事人必须履行。一方拒绝履行的，对方当事人可以向人民法院申请执行，也可以由审判员移送执行员执行。
调解书和其他应当由人民法院执行的法律文书，当事人必须履行。一方拒绝履行的，对方当事人可以向人民法院申请执行。
《民事诉讼法》第二百三十六条
发生法律效力的民事判决、裁定，当事人必须履行。一方拒绝履行的，对方当事人可以向人民法院申请执行，也可以由审判员移送执行员执行。