首先，对于你遇到的这种情况，确实很让人感到困扰和气愤。从法律角度来看，虽然你们离婚时有口头协议，但口头协议在法律上证明起来比较困难，而且房产已经约定归男方所有，这在法律上是比较明确的。不过，男方带人回家同居，以及对你的暴力行为，这些都是不被法律允许的。你可以先尝试和男方进行沟通，看看是否能够协商解决这个问题。如果沟通无效，可以考虑通过法律途径来维护自己的权益，比如向法院提起诉讼，要求男方停止侵权行为，或者要求对孩子的抚养权进行重新协商。同时，对于男方的暴力行为，你也可以保留相关证据，必要时可以向法院申请人身安全保护令。我是杭州的吴亮律师，如果仍有疑问，欢迎追问或一对一咨询。
