我先动手打人，用橘子打得，一点都不严重，

如果只是甲乙两方动手，且是甲方先动手，甲乙两方对打，在无导致受伤的情况下只能算违背治安管理条例，能够通过警方参与调解自行商量解决，但是你的情况是后来乙方又叫来两个人一起打甲方，这性质就导致聚众斗殴了，就像盗窃，你一个人偷叫小偷，而2个人以上就能够定性为盗窃团伙，个人和团伙的量刑可不相同，如果判定只是皮外伤，且甲方不深究，警方估计会对你们进行罚金和教育，但是如果判定哪怕是轻伤，就构成刑事犯罪了，且你们是好多少个人，这事说大也大，说小也小，看甲方的立场和警方的处置，建议找找朋友跑跑关系，因为有关系能够花点钱只能算打架斗殴，如果定性成聚众斗殴，且有人员受伤，那要是转成刑事案件就麻烦了。