1.被告人拒绝律师
《最高法解释》第38条：“被告人坚持自己行使辩护权，拒绝人民法院指定的辩护人为其辩护的，人民法院应当准许，并记录在案;被告人如果属于盲、聋、哑人或者限制行为能力人、开庭审理时不满18周岁的未成年人以及可能被判处死刑的人，拒绝人民法院指定的辩护人为其辩护，有正当理由的，人民法院应当准许，但被告人需另行委托辩护人，或者人民法院应当为其另行指定辩护人”;
第165条，重新开庭后，被告人再次当庭拒绝辩护的，对于应当指定辩护的，不予准许;
其他情况可以准许，但被告人只能自行辩护。
2.律师拒绝被告人
《律师法》第32条规定，律师接受委托后，发现委托事项违法、委托人利用律师提供的服务从事违法活动或者委托人故意隐瞒与案件有关的重要事实的，律师有权拒绝辩护或者代理。
依据《刑事诉讼法》第33条规定，公诉案件自案件移送到人民检察院审查起诉之日起，犯罪嫌疑人有权委托辩护人。人民检察院自收到移送审查起诉的案件材料之日起3日以内，应当告知犯罪嫌疑人有权委托辩护人。
综上所述，不管是被告人还是律师双方都有拒绝辩护的权利，但是需要符合法定的条件，对于辩护人拒绝辩护的，坚持自己行使辩护权，那么还是可以的，但是这种情况被告人就只能进行自行辩护了，缺少专业知识是很容易吃亏的。
