官职低的时候，贺若弼尚且能够牢记父亲的教诲。但是，得势之后，他也跟那些眼高于顶的大将们一样，开始飘飘然了起来。在朝堂上，他经常以宰相自居，对其他的大臣很是鄙视。文帝念他功高，于是，便事事偏向于他。
不料，贺若弼得寸进尺，甚至连文帝的兄弟杨素也不放在眼里了。一次，太子杨广向他请教："你感觉杨素、史万岁、韩擒虎三个人的军事能力如何？"品评其他人物，向来是朝廷中的大忌，更何况，提问者还是身为皇族的杨广。贺若弼若聪明一点，大唱赞歌便可蒙混过关。
但是，心高气傲的他竟然堂而皇之地向杨广回答道："杨素勇猛倒是勇猛，但若说起谋略，他可就不行了；韩擒虎在战场上厮杀起来还可以，要是让他领兵他就要闹笑话了；至于史万岁，骑上马确实有一定的作战能力。但若说他是大将，他还差得远呢。"
杨广听后很是无语，心中便记下了贺若弼这位张狂的人物。慢慢地，贺若弼的这番回答开始在宫中流传开来，连文帝也听说了这件事。杨素是文帝的兄弟，贺若弼对他不敬，岂不是藐视皇权？为了维护自己的权威，文帝决定撤掉贺若弼的官，以示惩戒。
