一年后在刘邦打败英布叛乱后，废掉太子的想法又萌发了，一次皇宫里举行宴会，太子带着商山四皓去了。刘邦见到他们，大吃一惊，说:"我想邀请你们进朝廷做官，可是你们不肯出山，选择隐居，为何又和我儿子在一起?其中一位回答说:"陛下瞧不起学者，爱骂人。"我们不愿受辱，又因惧怕逃跑。现在我们听说太子孝顺父母，尊重学者，所以我们愿意为太子办事。刘邦听后说:请好好帮助太子。
众人离开后，刘邦对戚夫人说：太子现在有这几个人帮助，势力已很强，我不能废他的太子之位了，以后有什么事让吕后做决定吧"。从此刘邦没有了废太子的想法。刘邦死后，太子刘盈继位，就是西汉的汉惠帝，他为了感谢当初几个人的帮助，赏赐他们许多的财宝，但这几个人并没有要，而是归隐山林直到去世。
