三年前，因为李某家里出了问题需要急用钱，所以就找上了我说能不能把他们家的10亩地转包给我，在签订协议之前李某也说过他的父亲知道这件事情，所以我就和他签订了耕地使用权买卖协议，但是他的父亲前几天却找上我们，否认当年的事情，要求我把10亩地归还给他们，但是当初我们已经签好了协议的，这10亩地的使用权我还能继续使用吗