据传，戚夫人是山东定陶人，自小就家境贫寒，但却长得十分美貌，父亲是当地财主的轿夫，母亲是给别人家洗衣服的奴婢，他们一家都住在十分破旧的草屋里，夏热冬冷，整日过着衣不蔽体的生活，就在这样环境中长大的戚夫人，长大后也是去给富家府里当奴婢了。
当时恰逢刘邦起兵要讨伐秦朝，已经自立为王，一口气直接打到了山东，到了戚夫人的老家定陶，虽然他从前是小混混，谁都不待见他，但自从他推翻秦朝暴政造反以来，就受到很多人的欢迎，名声鹊起，声望逐渐增长，当地的百姓听说他来了都很欢迎，全部归顺了他。
戚夫人一家的主人知道刘邦来了，便想着要巴结讨好他，他听说自己家有个奴婢长得非常漂亮，就是戚夫人，就想着把她当做礼物送给刘邦，但她的父母去怎么也不同意，财主就暗自杀了戚夫人的父母，她没有了依靠，只能听财主的话被送给刘邦。
