别人私自调我档案属于违法行为吗

“未经允许”不能够调取到人事档案！
所以，题目所说的未经允许，一种可能是指未经本人允许。这是错误的观点。
人事档案设立的目的是记录人员的各种信息供用人单位参考。因此单位间通过查阅、调取档案进行信息交换，不需要经过本人同意。
另一种可能是指未经档案管理部门同意，私下调取他人档案。这从国家档案管理角度讲属于违纪行为（国家《干部档案工作条例》明确规定：调取他人人事档案，必须根据“人事档案查借阅制度”进行），同时也是对个人信息的侵权行为。