然后苏良嗣马上上奏唐高宗说："兴师动众搜取远方珍奇，惊扰道路，烦劳地方，这并非明君爱民的本意；派出办事的宵小之徒狐假虎威，欺压民众，这也有损皇家的名誉。"
结果唐高宗看了，只能苦笑。这就是苏良嗣，多么正直的一个人。武则天当然知道苏良嗣是个好官，所以公元685年，垂拱元年，81岁的苏良嗣升任冬官尚书兼纳言，为武则天治国理政出了不少主意。
有一天，薛怀义擅自闯入只有宰相可以出入的南衙，正直的苏良嗣自然看不惯薛怀义这种小人得志，更何况是这么嚣张跋扈的小人，所以，他一看到薛怀义闯入，便喝令左右侍卫按住他，亲自动手扇了他几十个耳光，将其暴打一顿，结果薛怀义被打成了猪头。
