刘邦病重，自知不久于人世，刘邦召来戚夫人，"我本想改立太子，无奈太子羽翼已丰，如今的形势难再更改了。"说罢，长叹一声，戚夫人也凄楚不已。刘邦让戚夫人为自己跳最后一支舞，自己击筑高歌。刘邦此时已经预感到这对母子的命运。
果然，刘邦去世，吕后大权在握，随即把戚夫人囚禁，剃其头发，使戴枷锁、穿褚红囚衣，罚其舂米，就是用棒槌砸谷子，把米糠砸掉。戚夫人一边舂米一边唱了一首她创作的流传至今的诗歌《舂歌》："子为王，母为虏。终日舂薄暮，常与死为伍，相离三千里，当谁使告汝。"至今听起来很会让人感受到母子离别之痛。
吕后设计先害死赵王，后对戚夫人下狠手做成人彘。戚夫人的悲惨人生得到了百姓的同情。汉文帝为戚姬昭雪，并在戚姬的故乡修庙叫"戚姬寺"。该寺古树参天，傍晚时分，晚鸦归巢，绕寺飞鸣，似哀戚姬，百姓或许以为生前受尽苦难的戚姬，其在天之灵更能体恤人间疾苦，便奉她为救苦救难的神灵，受到世代百姓的跪拜，故"戚堌晚鸦"成为于山东菏泽市定陶八大景之一。
