我弟弟杀了人，他也已经被抓了，可是死者家属却一直来骚扰我们，要我们再继续赔偿他们的精神损失费。他们还在我们家楼下摆灵堂烧冥钱，不仅影响了我们的日常生活，还打扰了邻里，而且大家都在闲言碎语，说我们家有杀人犯。这样下去根本没有办法正常生活了，我们应该怎么办，能起诉他们吗？