刘邦听后就说：“我就知道这小子难堪大任，还是老子自己去吧！”
刘邦在平定英布的时候，为流矢所伤，回来后知道自己来日无多，更加急于更立太子。一天，刘邦置酒宴，太子从侍于侧。太子身后站着四位老者，年纪都有80多岁，“须眉皓白，衣冠甚伟”。刘邦惊奇地问道：“你们是什么人？”四人上前应对，原来他们正是商山四皓。刘邦大惊：“我曾经几次派人去寻访你们，但是你们都不肯前来，现在为什么肯辅佐我的儿子？”四人说：“陛下轻慢士人，动辄辱骂，我们不想受辱，所以不敢前来。现在太子仁孝，恭敬爱士，天下没有人不愿意伸长脖子来为太子以死效力的，所以我们就来了。”刘邦便说：“那就劳烦诸公好好调教保护太子吧。”
自从刘邦知道商山四皓辅佐太子刘盈以后，便无奈的对戚夫人说：“我想要更立太子，但是太子现在有商山四皓辅佐，羽翼渐丰，我很难再动摇他的地位了，吕皇后以后就是你的主人了。”戚夫人听后大哭。
司马迁在评论这件事的时候说：“竟不易太子者，留侯本招此四人之力也。”（《史记·留侯世家》）可以说，正是商山四皓的出山改变了刘邦的想法，而这个主意正是张良出的。
没过多久，刘邦驾崩。后来戚夫人和赵王刘如意最终遭到吕后的疯狂报复，先后惨死。
