所谓物以类聚、人以群分，薛怀义也没有忘记街头的那些狐朋狗友，他纠集这些死党，让他们全部剃度为僧，平日里在白马寺胡吃海喝，外出时横行无忌、到处犯法。正直的右台御史冯思勖曾经处理过这些人，后来被薛怀义当街打个半死。
当时唯一能制住薛怀义的，也许只有左相苏良嗣。有一天，薛怀义大大咧咧的进宫，遇到了苏良嗣；骄横成性的他，对着苏宰相同样目中无人，不仅不行礼，反而照旧趾高气扬；苏良嗣大怒，命令随从拽住了怀义，狠狠地打了他几十下耳光。
自从被太后看上后，薛怀义还没受过这种羞辱，他赶紧入宫找武则天投诉，但这次对方并没有罩着他："你啊，以后应当从北门出入，南牙是宰相往来之地，不要去触犯。"
南牙就是南衙，"南牙谓宰相，北门谓羽林诸将。"也就是宰相的代名词。
