后来项羽大败汉军，俘虏了刘邦的家眷，而寡妇曹氏和刘肥也未能幸免，在楚军军营中，曹氏和吕雉相互扶持，一同患难，共同度过了那最难熬的两年，也就是在那个时候，吕雉对曹氏的印象特别好。后来议和成功后，刘邦的家眷也被放回汉中，但是曹氏却将刘肥托付于吕雉，不和他们一起回到汉中，说是因为自己是寡妇，是不祥之人。只要你们过得好就可以了。吕雉深受感动，回去后便告诉了刘邦，刘邦听后很是伤心但却也是无可奈何。
后来刘邦终于坐上了帝位，想起了对曹氏有所亏欠，就想把她接到皇宫并封她为妃，但是却被曹氏拒绝了。尽管一再请求，但依旧遭到了拒绝，而曹氏也就此成为了刘邦的遗憾，即使她是他一生中最爱的女人，但是却不能在一起，而曹氏识大体的胸怀也让人为之敬佩。
