请问一下关于夫妻双方都患有精神病离婚时孩子谁来抚养

父母双方都有精神病，对子女没有能力抚养的，应当由有抚养能力的祖父母、外祖父母抚养未成年的孙子女、外孙子女。
祖父母、外祖父母的抚养义务是有条件的，民法典规定，有负担能力的祖父母、外祖父母，对于父母已经死亡或者父母无力抚养的未成年孙子女、外孙子女，有抚养的义务。
【法律依据】
《民法典》第一千零七十四条，有负担能力的祖父母、外祖父母，对于父母已经死亡或者父母无力抚养的未成年孙子女、外孙子女，有抚养的义务。
有负担能力的孙子女、外孙子女，对于子女已经死亡或者子女无力赡养的祖父母、外祖父母，有赡养的义务。