我是一名医生。有一个病人经常来看我。我的家人怀疑我们有不正当的关系。原因是我离婚了，单身，我听别人说过(具体地说，谁也说不出来)，他的妻子和孩子来了。我所在单位的问题玷污了我的声誉，影响了我的正常工作。它们是否被视为危害公共秩序罪?这是在侵犯我的名誉吗?