如果没证据，双方都要承担责任，如果你构成轻伤，他会被追究刑事责任，同样，如果他最终也被认定轻伤以上伤害，你也要负刑责，如果不够轻伤，则被治安拘留。
如果现在你已确定为轻伤，他没构成轻伤，对他应该是不利的，因为他受到的处罚要比你重，应该是他先提出调解的，现在他不同意调解，一定是有想法，怕是找了关系。如果他不同意调解，也没必要太主动要求调解，到时候你会被动的，可能要多花钱。
打架斗殴是一种情节恶劣的行为，这对于维护社会的良好治安和对他人的身心健康都是一种负面的影响。相关部门会根据实际的情况根据情节的轻重来做出处罚决定。如果双方都有过错会对双方进行处罚，如果一方有错，则会酌情减轻非过错方的法律责任。
