汉高祖刘邦建立汉朝的时候，久闻他们的大名，曾请他们出山，直接被拒绝了。然而，却在刘邦要废太子的时候，他们四个老头竟然接受了吕雉的邀请，追随太子刘盈。在一次宴会的时候，刘邦猛然发现太子刘盈身后站着四个白发老头，甚为惊奇，一问才得知是传说中的商山四皓。刘邦大为吃惊，问他们："为何对自己避而不见，而又追随自己的儿子呢？"
商山四皓回答："太子仁孝，恭敬爱士，天下莫不延颈愿为太子死者，故臣等来。"刘邦听后说："那就有劳诸位今后辅佐太子了。"随后，四个老头很知趣，向刘邦敬酒后就告辞了。刘邦叫来戚夫人，指着他们离去的背影说："我欲易之，彼四人辅之，羽翼已成，难动矣！"刘邦就此放弃了废立太子之事。
真实原因很多人认为刘邦之所以放弃废太子之事，是因为刘邦害怕商山四皓。实际上，刘邦并非是害怕商山四皓，他们本身并无多大意义，意义在于他们出山背后，各方势力的暗潮涌动。
