回到刘邦身边的吕雉却发现刘邦身边早已有了宠幸的戚夫人，此时的吕雉因为年龄长于戚夫人，常常作为留守，伴在刘邦身边的是那戚夫人。吕雉与戚姬，按照当今说法就是一个是正室，一个是小三。
戚夫人因为自恃得宠，曾经常在刘邦面前哭闹，意欲为自己的儿子赵王刘如意以夺取皇太子之位，刘邦在公元前205年(汉二年)六月即已立吕雉之子刘盈为太子，但即位为皇帝后，以刘盈仁弱"不类我"为理由，想要改立戚姬子如意为太子，因为"如意类我"。周昌、叔孙通等朝中大臣都坚决反对废长立幼。
有人为吕后设谋，让他找张良。吕后就让他的哥哥吕泽劫持张良，逼着张良献计。张良对吕泽说："陛下在战争困难的时候确实能够听我的意见，但是，如今是因为爱而要废长立幼，这已经不是靠说能了结的事。但是，陛下非常看重的商山四皓(隐居在商山的四位年长的高士)，却始终请不来，因为他们认为陛下对臣下态度一贯傲慢。如果你们想个办法把商山四皓请出来辅佐太子，让他们天天陪着太子，特别上朝之时陪伴太子，陛下一定会看见。陛下知道商山四皓辅佐太子，也许会有一用。"吕后立即付诸实施。吕后派吕泽让人带了太子的亲笔信，还带了一份厚礼，请"商山四皓"出山，这四位高士竟然全来了。
公元前195年(汉十二年)，刘邦平定英布叛乱结束，但是，刘邦也在这次平叛中第二次受到致命箭伤。而且，由箭伤引发的疾病更加严重。此时的刘邦已经预感到人的生命是有尽头的;因此，刘邦废立太子的愿望也更加强烈了。张良劝阻无效，托病不再上朝。作为太子太傅的叔孙通以死相谏，刘邦假装听从，实际上废立太子的想法毫无改变。
