变更抚养权一定要改变户籍吗？

结论：不是。
解析：
不是一定的。
一般情况下，小孩迁户口是不一定要变更抚养权的。
如果是夫妻双方离婚，想要孩子变更户口，一般夫妻双方可以互相协商，如果协商好只变更户口而不变更抚养权也是可以的，如果夫妻双方协商不了，也可以向相关的法院申述，最终由法院根据夫妻双方的具体情况来判处孩子的抚养权归于哪一方。
法律依据：
《户口登记条例》第十条：
公民迁出本户口管辖区，由本人或者户主在迁出前向户口登记机关申报迁出登记，领取迁移证件，注销户口。公民由农村迁往城市，必须持有城市劳动部门的录用证明，学校的录取证明，或者城市户口登记机关的准予迁入的证明，向常住地户口登记机关申请办理迁出手续。公民迁往边防地区，必须经过常住地县、市、市辖区公安机关批准。