后来刘邦项羽闹掰了，吕雉等刘家老小也被楚军所抓获，成为了人质，日子虽然过得不算苦，但也是受尽白眼，担惊受怕，唯恐某天项羽就下令处死他们。后来楚汉议和，吕雉终于回到了刘邦身边，结果这个时候她却发现刘邦早有新欢，正是戚夫人，戚夫人年轻貌美，刘邦十分疼爱她。反观吕雉却年老珠黄，刘邦虽然嘴上不说，但外出时却几乎不带吕雉，往往带上戚夫人。
虽然古代男人三妻四妾很正常，但吕雉毕竟是刘邦的结发之妻，照顾了刘家那么多年，用句通俗的话来讲那就是没有功劳也有苦劳。可刘邦这样对待吕雉，怎么能不让吕雉心寒。在这之后发生了一件事，更是让吕雉心如刀割。那便是废太子一事，吕雉跟刘邦的孩子叫刘盈，刘邦早年便立了刘盈为太子，毕竟古代嫡长子继承制，刘盈的确最有资格继承王位。但没过多久，刘邦就反悔了，因为他想立戚夫人的孩子刘如意为太子，这件事传了出去后，可以设身处地的想一下，此时的吕雉该是多么的难受，自己争不过戚夫人也就算了，可自己的孩子居然也斗不过戚夫人的孩子。那时吕雉应该明白了，刘邦早已不是当年沛县的小混混，而她吕雉，也不应该再是刘家的贤妻良母。
