刘敬劝说高帝说："请在关中定都。"皇上犹疑不决。左右大臣都是山东地区的人，大都劝高帝定都洛阳，说："洛阳东有成皋，西有？山、渑池，背靠黄河，面向伊水、洛水，它的坚固也是可依恃了。"留侯说："洛阳虽有这些险困，但它的腹地狭小，不过几百里，土地贫瘠，四面受敌，这里不是用武之地。关中左有？山、函谷关，右有陇、蜀山地，肥沃的原野广阔千里，南边有巴蜀地区的丰饶物产，北边有利于放牧的草原，依恃三面的险要地形而固守，只在东面一个方向控制诸侯。如果诸侯安定，就可以用黄河、渭水转运天下的粮食，向西供给京师；如果诸侯叛乱，就可以顺流而下，足以供给军队粮草。这就是人们所说的金城千里、天府之国，刘敬的意见是对的。"于是高帝当天就起驾，向西定都关中。
留侯跟随高祖进入关中。留侯生性多病，就学习导引辟谷的养生方法，一年多时间闭门不出。
皇上想废掉太子，改立戚夫人的儿子赵王如意。大臣中有很多人进谏劝阻，都没能改变高祖的决心。吕后很恐惧，不知道该怎么办。有人对吕后说："留侯擅长谋划计策，皇上对他很信任。"吕后于是派建成侯吕泽去胁迫留侯，说："你一直是皇上的谋臣，如今皇上想改立太子，你怎么能高枕无忧呢？"留侯说："当初皇上多次陷于危险的困境之中，侥幸而采用了我的计策。如今天下安定，因为自身偏爱而想改立太子，这是至亲骨肉之间的事，即使我们一百多个人劝谏又有什么用呢。"吕泽强迫要求说："为我谋划计策。"
留侯说："这件事难以用口舌去争辩。但是皇上有过不能招致的人，这样的人天下有四位。这四个人都已经年老了，都认为皇上傲慢轻侮，所以逃进山里隐藏起来，坚守道义，不肯做汉朝的臣民。但是皇上很敬重这四个人，现在如果你真能不吝惜金玉财帛，让太子写信，言辞谦恭，备好座车，进而派能言善辩之士前去恳请，应该会来的。来了以后，要把他们奉若上宾，让他们时常跟随太子上朝，让皇上看到他们，皇上看到后一定会感到惊异而询问他们。问清楚后，皇上就知道这四个人是贤者，那么对太子将是一大帮助。"于是吕后让吕泽派人带着太子的书信，用谦恭的言辞和丰厚的礼物，迎请这四个人。四个人来到长安，客居在建成侯家里。
