如果别人一直挑衅我，我能打他吗？这样打他算是犯罪吗？

致人伤害且致残，构成故意伤害罪。结合具体案情，被害方有一定的过错，可以适当减轻量刑。简单地讲，在法律上，他人语言挑衅，不是本方可以加害的理由。法条链接：《刑法》第二百三十四条　【故意伤害罪】
1、故意伤害他人身体的，处三年以下有期徒刑、拘役或者管制。
2、犯前款罪，致人重伤的，处三年以上十年以下有期徒刑；致人死亡或者以特别残忍手段致人重伤造成严重残疾的，处十年以上有期徒刑、无期徒刑或者死刑。本法另有规定的，依照规定。