而今天张良被吕泽纠缠不休，便不得不说道："此难以口舌争也。顾上有不能致者，天下有四人。四人者年老矣，皆以为上慢侮人，故逃匿山中，义不为汉臣。然上高此四人。今公诚能无爱金玉璧帛，令太子为书，卑辞安车，因使辩士固请，宜来。来，以为客，时时从入朝，令上见之，则必异而问之。问之，上知此四人贤，则一助也。"
于是，吕后令吕泽派人手捧太子的书信，驾着安车，用卑顺的言辞，厚重的礼物，果然把4位贤人请到长安城中。4人来到长安后，被暂时安置在建成侯吕泽的家里。
"商山四皓"来到长安不久，正值黥布举兵造反，汉高帝准备让太子刘盈统领诸将前去平叛。4位白发老人以为太子不足以担当此项重任，将领们不会听从他的调遣，容易导致失败，造成危及太子地位的严重后果。于是4人用计，教建成侯吕泽立即到吕后那里，哭泣着如此这般地诉说太子不能统兵出征的理由。吕泽、吕后遵计而行，汉高帝果然亲自统兵出征，太子刘盈得以平安度过一次危机。
汉高帝十二年，汉高帝东征黥布归来，病情日重，愈发想在临终之前易立太子，了却这桩心事。留侯张良劝谏，高帝不听从。太子太傅叔孙通引古论今，以一死相争，高帝表面上装作答应，心里还是想改立太子。待到宴会设置酒席时，太子刘盈侍奉皇上，商山四皓随从。这4位贤人都已年过80，头发胡须皆已雪白，衣冠也很奇特，神态飘逸，宛如仙人。汉高帝见到4位老人，感到很奇怪，问道："彼何为者？"
