汉十一年，黥布发动叛乱，皇上患病，想让太子率领军队，前去讨伐叛军。这四个人互相商议说："我们来京师的目的，就是要保全太子。如果太子率军前去平叛，那么事情就危险了。"于是劝建成侯说："太子率军打仗，有功劳那么地位也不会超出太子；如果无功而还，那么从此就将遭受灾祸了。况且和太子一起出征的各位将领，都是曾经跟皇上一起平定天下的猛将，如今派太子率领他们，这跟让羊率领狼没什么两样，都不肯为太子卖力，太子肯定不可能建立战功。我们都听说'母亲被宠爱，儿子就会经常被抱'，如今戚夫人日夜侍奉皇上，赵王如意常常被抱在皇上面前，皇上说'终归不能让不成器的儿子位居爱子之上'，很明显，赵王如意一定会取代太子的地位了。你为什么不赶紧请吕后找机会向皇上哭着说：'黥布，是天下的猛将，善于用兵，如今各位将领都是陛下以前的同代人，却让太子率领这些人，这跟让羊率领狼没什么两样，不肯为太子所用，况且让黥布知道了，就会大张旗鼓地向西进军。皇上虽然生病，勉强乘坐辎车，躺着让人护理，各位将领就不敢不尽力。皇上虽然劳苦，但为了妻子儿子还是要勉为其难。"于是吕泽连夜去见吕后，吕后找到机会在皇上面前哭诉，所说的话都是这四个人的意见。皇上说："我想这小子本来就派不上用场，还是老子自己去吧！"于是皇上亲自率军东进，群臣留守，都送到霸上。留侯有病在身，亲自勉强起来，送到曲邮，拜见皇上说："我应该跟随，只是病得厉害。楚国人骁勇敏捷，希望皇上不要跟楚国人争夺一时的高低。"趁机劝谏皇上说："请任命太子为将军，监守关中的军队。"皇上说："子房虽然有病在身，请勉强卧床辅佐太子。"这时叔孙通做太傅，留侯履行少傅的职责。
汉十二年，皇上打败黥布的叛军，从前线归来，病得更加厉害，越发想改立太子。留侯劝谏，皇上不听，留侯就称病不再理事。太傅叔孙通引用古今事例劝说皇上，以死力保太子。皇上假装答应他，但还是想改立太子。等到宴会时，设置酒席，太子在旁边侍奉皇上。有四个人跟从太子，年纪都有八十多岁，胡须和眉毛雪白，衣冠服饰十分奇特。
皇上觉得很奇怪。问道："他们是什么人？"四个人上前回答，各自说出自己的姓名，叫做东园公、角里先生，绮里秀，夏黄公。皇上于是大惊，说："我寻求诸位好几年，诸位总是逃避我，如今诸位为什么会自动跟我儿子交游呢？"四个人都说："陛下轻视士人，喜欢谩骂，我们信守道义不愿受辱，所以害怕得逃亡隐藏起来。我们私下听说太子为人仁厚孝顺，态度恭敬，爱慕士人，天下人没有不伸长颈脖愿为太子效死的，所以我们来了。"皇上说："麻烦诸位始终如一地调教和保护太子吧。"
四个人向皇上祝福完毕，就快步离开了。皇上目送他们离去。召来戚夫人指着四个人说："我想换太子，可是那四个人辅佐他，太子的羽翼已经丰满，难以更换了。吕后真是你的主人了。"戚夫人哭泣，皇上说："为我跳段楚舞，我为你唱楚歌。"歌唱道："鸿鹄高飞，展翅千里。羽翼已成，横跨四海。横跨四海，能奈他何！虽有短箭，还有何用！"连唱了好几遍，戚夫人叹息流泪，皇上起身离去，酒宴作罢。最终没有改立太子，本是留侯召来这四个人发挥了作用。
