当刘邦在朝宴上见到太子刘盈身后的四个老头时，大惊说道："吾求公数岁，公辟逃我，今公何自 从吾儿游乎？"四皓回答："陛下轻士善骂，臣等义不受辱，故恐而亡匿。窃闻太子为人仁孝，恭敬爱士，天下莫不延颈欲为太子死者，故臣等来耳。"刘邦见大势已去，只好对戚夫人说："我欲易之，彼四人辅之，羽翼已成，难动矣"。
三、四皓为什么要出山
嫡长子继承制是我国古代一项非常重要的宗法制度，这个制度确立了王位继承的原则，避免了许多法律、政治问题，对于厘清封建国家的权力分配等一系列涉及儒家伦理纲常的问题，都有重要的原则性意义。所以，太子的废立关乎到国家和社会的稳定以及宗社的延祚。
刘邦想废太子刘盈另立赵王如意，只不过出于个人之喜好。这样做必然会导致政局的变动甚至混乱，由此带来的危局是难以预料的。在废立太子这种根本问题上，四皓这才"不忍宗社大计摇于衽席之私情，偕入汉庭，一言悟主，国本以定"。
