官职低的时候,贺若弼尚且能够牢记父亲的教诲。但是,得势之后,他也跟那些眼高于顶的大将们一样,开始飘飘然了起来。在朝堂上,他经常以宰相自居,对其他的大臣很是鄙视。文帝念他功高,于是,便事事偏向于他。
不料,贺若弼得寸进尺,甚至连文帝的兄弟杨素也不放在眼里了。一次,太子杨广向他请教:"你感觉杨素、史万岁、韩擒虎三个人的军事能力如何?"品评其他人物,向来是朝廷中的大忌,更何况,提问者还是身为皇族的杨广。贺若弼若聪明一点,大唱赞歌便可蒙混过关。
但是,心高气傲的他竟然堂而皇之地向杨广回答道:"杨素勇猛倒是勇猛,但若说起谋略,他可就不行了;韩擒虎在战场上厮杀起来还可以,要是让他领兵他就要闹笑话了;至于史万岁,骑上马确实有一定的作战能力。但若说他是大将,他还差得远呢。"
杨广听后很是无语,心中便记下了贺若弼这位张狂的人物。慢慢地,贺若弼的这番回答开始在宫中流传开来,连文帝也听说了这件事。杨素是文帝的兄弟,贺若弼对他不敬,岂不是藐视皇权?为了维护自己的权威,文帝决定撤掉贺若弼的官,以示惩戒。