我不知道这个女人有精神病我俩发生了性关系违法吗?

根据《中华人民共和国刑法》第二百三十六条及《残疾人保障法》第五十二条规定，明知对方是精神病人（或痴呆者）而与其发生性关系，无论对方是否“同意”，均可能被认定为强奸罪。

只要不违背妇女意愿就可以

这得看情况。若女方是不能辨认自己行为的精神病患者，无论你是否知晓，与其发生性关系都按强奸罪论处；若女方是间歇性精神病患者，在精神正常时自愿与你发生关系，则不违法。若已涉事，先保留好能证明当时情况的证据，比如聊天记录、证人证言等。若被指控，要积极配合调查说明情况。

这个事只要你不知道对方什么情况，你情我愿没事，除非你是去嫖娼了，嫖娼违法