有一天，薛怀义带着自己的一帮喽啰进宫，在门口遇到了宰相苏良嗣。薛怀义骄横惯了，觉得我是宠儿啊，我得先进门啊，根本没把苏良嗣放在眼里。苏良嗣勃然大怒，当即叫左右把薛怀义揪过来，劈头盖脸一顿暴打，把薛怀义打得满地找牙。薛怀义跑到武则天面前哭诉，没想到武则天心里非常明白，摸着冯小宝的光头说："孩子你记住，北门才是你出入的地方，南衙是宰相理政的地方，你没事到那里闯什么祸呢？"
但随着薛怀义地位的提高，宰相也奈何他不得。在出征突厥期间，李昭德以宰相的身份充当小宝的幕僚，因为一言不合，冯小宝挥拳便打，李昭德也只能惶惧求饶。
武则天成为皇帝后，身边的男宠逐渐多了起来，慢慢移爱于一个叫沈南璆的人了。薛怀义一气之下，干脆不进宫见武则天了，整天待在白马寺里，和他剃度的那些小流氓胡闹。
御史叫周矩怀疑薛怀义谋乱，曾几次向武则天奏劾，武则天命周矩处置众僧。周矩查问，将诸僧悉数发配远州边地。但是不久后周矩又被薛怀义诬陷，下狱免官。
