吕家的势力在西汉初期已经大到顶起半边天了，刘邦无法忽视吕后背后的力量，这是一股强大的政治力量，从某种意义上说，刘家的天下有吕家的一半，刘邦无法废除太子，也无法废除皇后，如果刘邦想要强行废除的话，就会引发西汉初期严重的政治危机，其后果有可能会导致西汉王朝的覆没，这不是危言耸听，而是真实存在的。
因为戚夫人和太子刘如意是没有任何势力背景的，她们虽然深受刘邦喜欢，但在朝中及军中没有人支持，如果刘邦敢杀了吕后，废除太子刘盈，那么刘邦去世后，戚夫人与刘如意根本就不可能控制得局势，要知道西汉可是一大帮功臣集团合力打下来的江山，这些人刘邦来控制都显得有些吃力，而吕后原本就是功臣集团中特殊的外戚集团，也能控制住，除此之外，没有一个强有力的中央集权，孤儿寡母的戚夫人与刘如意是完全无法掌控局势，会成为功臣集团的傀儡，这不是刘邦愿意看到的事。
从另一方面来说，刘邦与吕后有一个儿子刘盈，只要这个儿子存在，也算是刘邦的骨肉，吕后就算再专权，也仍然是刘氏天下的捍卫者，因为皇帝从他的丈夫刘邦身上传到他的儿子刘盈身上，都是吕后可以接受的，吕布所做的一切都是为了他的儿子，包括杀害韩信，害死彭越，这都是吕后在没有征得刘邦同意的情况下安排的，吕后这么做的目的就是为了捍卫自己儿子的江山，担心自己掌控不了这些能力强大的诸侯王。
而作为皇帝的刘邦来讲，他是绝对不可能废除吕后的，如果没有吕后，刘邦去世后，就没有人能捍卫自己刘家的天下，吕后虽然提拔了很多吕氏族人，但吕后从来也没有改朝换代的想法，而是一直在保持刘氏江山，所以刘邦不会除掉吕后。
