我跟我老公离过婚，当时的协议是补偿我五万房子归他

那就只能重新划分夫妻共同财产的。
       一般离婚时，夫妻的共同财产由双方协议处理；协议不成时，由人民法院根据财产的具体情况，照顾子女和女方权益的原则判决。” 一、外遇离婚可以要求赔偿的情形： 根据《婚姻法》 第四十六条有下列情形之一导致离婚的，无过错方有权请求损害赔偿：
（一）重婚的；
（二）有配偶者与他人同居的；
（三）实施家庭暴力的；
（四）虐待、遗弃家庭成员的。 无过错方有权请求损害赔偿。