您有权按照行政复议决定或者由人民法院作出的判决去废止那些已经生效的行政惩罚措施。
根据我国现行《中华人民共和国行政处罚法》中的明确规定,当涉及到公开的行政惩罚决定被依法更正、撤销、认定其为非法或无法律效力时,各级行政机构应在接到通知后的第三个工作日内将行政惩罚决定信息予以撤回,同时公开解释和澄清相关理由。《中华人民共和国行政处罚法》第四十八条
具有一定社会影响的行政处罚决定应当依法公开。
公开的行政处罚决定被依法变更、撤销、确认违法或者确认无效的,行政机关应当在三日内撤回行政处罚决定信息并公开说明理由。
第七十六条
行政机关实施行政处罚,有下列情形之一,由上级行政机关或者有关机关责令改正,对直接负责的主管人员和其他直接责任人员依法给予处分:
(一)没有法定的行政处罚依据的;
(二)擅自改变行政处罚种类、幅度的;
(三)违反法定的行政处罚程序的;
(四)违反本法第二十条关于委托处罚的规定的;
(五)执法人员未取得执法证件的。
行政机关对符合立案标准的案件不及时立案的,依照前款规定予以处理。