房产转让合同单方终止，需要违约金吗

厂房转让，收了一半款项以后，规定剩余款项到期的时间没有付清，但合同上写了自愿支付利息，卖方可以退款终止合同吗，需要赔偿违约金吗。