我买的是二手房，经过中介公司介绍，我已经把首付付啦

居间人促成合同成立的可以要求报酬，活动期间必要费用自己负担；居间人未促成合同无权要求取得报酬，居间活动指出的必要费用可向委托人求偿；居间人故意提供虚假信息损害委托人利益的无权要求支付报酬并需赔偿。
根据合同的相对性卖方（委托人）只能追究合同相对方居间人（中介）的责任，完了才是你和中介的事儿，既然合同已经签了你就需要支付中介费，想取消合同属于违约行为，按照合同具体条款赔偿对方或者支付违约金，至于提供虚假信息，中介业是在你的允许下才作假的。所以说来说去还是你违约。中介不要你赔钱你就偷着乐吧，想要回中介费没什么法律依据。