如果发现《行政处罚决定书》中的违法事实不清或证据不确凿时，应当以局正式文件撤销该《行政处罚决定书》，并从行政相对人处收回该《行政处罚决定书》。然后重新对违法事实进行调查核实，补充完善相关证据，在做到事实清楚、证据确凿的基础上，再按照行政处罚程序规定重新作出处理决定，重新履行处罚告知程序，重新制作并送达《行政处罚决定书》。因在行政相对人申请行政复议或提起行政诉讼之前，我们执法部门是可以重新调查取证，重新作出处理决定的，这也是符合《行政处罚法》要求行政机关主动进行纠错的精神的。而在行政复议或行政诉讼期间，我们执法部门是不可以自行收集证据的，即使收集了证据也是无效的，但主动进行纠错却是符合《行政处罚法》的原则和要求的。
首先，这个问题是需要分情况来进行探讨的。比如说有可能是书写上的错误，那么这需要重新制作决定书就可以了。但是有的时候可能是处罚的力度方面出现了错误，这个时候就要重新的告知行政相对人。
