但这并没有让他清醒。贺若弼待在家里仍旧骂骂咧咧、口出狂言，杨坚忍了许久，终于把他抓进了大牢。但最后还是心怀恻隐，把他放了出来，甚至恢复了爵位、时不时给些重赏，但再也不敢让他任职。
一直到杨坚去世，贺若弼仍旧安安稳稳，虽无大权在手，但总算富贵无忧。杨广即位后，给予了他光禄大夫的职位，但这位仁兄还是管不住嘴巴。
公元607年，杨广招待附属国东突厥的启民可汗。以他的性子，那自然是要铺张浪费一番，以体现大隋天威。但贺若弼却在私下吐槽：这也太奢侈了吧！
杨广可没他父亲那份耐心，听说这事后，以诽谤朝政为由，把贺若弼诛杀；其妻女，也被卖为官家奴婢。一代名将，落得如此悲凉的下场。
