丈夫不管残疾妻子该怎么办?

抛弃丈夫，是否应该处罚，要看具体情况。如果妻子有扶养的能力，而拒绝扶养，且情节恶劣的，造成丈夫残疾丈夫病情加重，或者其它严重后果的，其行为就触犯了《刑法》第二百六十一条之规定，涉嫌遗弃罪，依法应追究妻子的刑事责任。如果妻子遗弃丈夫，情节较重的，可以给予治安行政处罚。如果只是一般的遗弃，情节显著轻微，没有造成严重后果，则不构成违法犯罪，依法是不能处罚的。《刑法》第二百六十一条对于年老、年幼、患病或者其他没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣的，处五年以下有期徒刑、拘役或者管制。
二、遗弃夫妻一方的处罚案例
1、事件32岁的小与50岁的赵某经人介绍相识，于1992年2月登记结婚，婚后未生育子女。开始，赵某对这个小媳妇还百般恩宠，但谁想10年后，小因患小脑萎缩导致下肢全瘫，生活不能自理。此后赵某的脸色开始不好看了，对小也不爱理睬了。一年后，赵干脆用被褥将媳妇包裹后强行拉到丈母娘家，此后就再也不露面了。这期间，小与赵某的原住房拆迁，赵某独自领取了21万元拆迁款。
2、处理结果由于遗弃残疾妻子，赵某被法院判决一次性给付妻子扶养费人民币2.4万元、损害赔偿金人民币6000元，同时还判决赵某给妻子房屋拆迁补偿款13万元。
3、法院判决法院认为，小患病生活不能自理后，赵某不但不履行丈夫对妻子的抚养义务，反而将生活已不能自理的妻子送回娘家，不再露面，导致夫妻感情破裂。故对小的离婚请求，法院准许。考虑到小无经济收入并丧失了生活自理能力，故在财产分割时应依法适当予以照顾。由于赵某在妻子小患病后遗弃家庭成员，违反了我国婚姻法的相关规定。故小要求赵某支付扶养费、损害赔偿金，理由正当。