当初跟人民银行签订了五年，但现在走了人民银行违约金

首先，公司给他进行专项培训，签订服务员协议，或者签订保密协议没有，不然，公司不能约定违约金。
其次，违约金，不是随便乱规定的，必须以培训费或者社保局公布的标准依据的。
最后，公司没有按劳动合同法约定违约金的，那么可以直接上诉法院，起诉公司合同诈骗。
法律依据：《劳动合同法》
第二十二条　用人单位为劳动者提供专项培训费用，对其进行专业技术培训的，可以与该劳动者订立协议，约定服务期。
关于人民银行违约金，如果劳动者违反服务期约定的，应当按照约定向用人单位支付违约金。违约金的数额不得超过用人单位提供的培训费用。用人单位要求劳动者支付的违约金不得超过服务期尚未履行部分所应分摊的培训费用。
用人单位与劳动者约定服务期的，不影响按照正常的工资调整机制提高劳动者在服务期期间的劳动报酬。
第二十三条　用人单位与劳动者可以在劳动合同中约定保守用人单位的商业秘密和与知识产权相关的保密事项。
对负有保密义务的劳动者，用人单位可以在劳动合同或者保密协议中与劳动者约定竞业限制条款，并约定在解除或者终止劳动合同后，在竞业限制期限内按月给予劳动者经济补偿。劳动者违反竞业限制约定的，应当按照约定向用人单位支付违约金。
第二十五条　除本法第二十二条和第二十三条规定的情形外，用人单位不得与劳动者约定由劳动者承担违约金。