我把自己盖的猪厂房屋拆了想在原来猪厂的地方盖成民住房，乡镇政府却说我是违建今天用钩机给我扒了，我想问问在原来的地方盖也隶属违建吗

由城市规划部门废除违规建筑。
法条依据：《城市规划法》第四十条：“在城市规划区内，未获到建设工程规划许可资料或者违背建设工程规划许可证的限定进行建设，严重影响城市规划的，由县级以上人民政府城市规划行政主管部门责令停止建设，限期废除或者没收违法建筑物、构筑物或者其他设施；影响城市规划，尚可改正措施的，由县级以上地方人民政府城市规划行政主管部门责令限期改正，并处罚金。