对方违约却要求我退还违约金该如何处理

1.首要的是，把合同约定搞清楚。
仔细瞧瞧双方签署的合同里头有关违约金的那部分条款，弄明白啥样算违约方，还有违约金该咋计算之类的。
2.要是对方违约，你这边就有权利按照合同要求对方承担违约责任，像支付违约金这类的。
3.对方让你退还违约金，这可没啥道理。
你得收集对方违约的证据，像是往来的邮件、聊天记录，还有合同履行的实际情况等，用这些来证明对方确实违约了。
4.去找对方沟通一下，清清楚楚地告诉他们违约的事实以及应该承担的责任，坚决拒绝退还违约金的要求。
要是沟通没啥效果，那就可以考虑通过协商、调解或者诉讼等办法来解决纠纷，好好维护自己的合法权益。

案情回顾:

小胡与小丽签订合同，合同对违约金条款有明确规定。后小丽认为小胡违约，要求其支付违约金，小胡依约支付。然而，小胡认为自己并未违约，要求小丽退还违约金。双方就小胡是否违约以及违约金是否该退还产生争议，协商无果。

案情分析:

1、首先应明确合同中关于违约金条款的具体约定，以此判断小胡是否属于违约方及违约金计算方式。
2、小丽若主张小胡违约，需收集如往来邮件、聊天记录、合同履行实际情况等证据来证明。
3、双方可再次沟通，明确违约事实与责任，若沟通无效，小丽可通过协商、调解或诉讼维护自身权益。