可怜之人必有可恨之处。从史料来看，戚姬恃宠而意图废太子拥立自己的儿子刘如意为太子，抢夺太子位才是其下场悲惨的根本原因。一方面，刘邦的诸多姬妾中受宠的其实不止戚夫人，如其他的管夫人、赵子儿等，他们在刘邦去世后虽没有记载其下场如何，但在《史记·外戚传》记载有薄太后的一段中说，"高祖崩，诸幸姬戚夫人之属，吕后怒，皆幽之不得出宫"。此句表明应该只是贬谪不给予出宫，但并未言明被诛杀，或做成人彘之类，应与戚夫人的下场有所不同，至少没有制造称人彘，否则史官应有所记载。与薄太后昔日情同姐妹的管夫人、赵子儿曾相约"先贵勿相忘。"大概如"苟富贵，勿相忘"之意。他们在刘邦在世时也是得宠的，她们曾在刘邦面前笑说三人与薄太后相约之言，引起刘邦注意从而实现了她们二人早年与薄太后的誓言，并造就了文帝。
另一方面，戚夫人倚仗刘邦宠幸而时常在其面前哭诉"日夜啼泣，欲立其子代太子"，导致刘邦认为太子刘盈"仁弱"，还常对人说"盈不类我，如意类我"。大有废掉刘盈之意。戚姬希望废掉太子刘盈立其子刘如意，抢夺太子位这件事情威胁到了作为正妻嫡母的吕雉日后的权位及其儿子的帝位，才是吕后痛下杀手和戚夫人悲惨下场的祸根。我们知道，吕雉面对有可能威胁到刘汉政权和自身利益的人，绝不会心慈手软的，比如大家知道的诱杀韩信、彭越、英布等大功臣的手段。纵横国史认为，戚夫人若只是吹枕边风，不抢太子位，同时被贬谪到永巷舂米时不唱那首满带怨恨和有复仇之意的舂歌（前文已述），我想不会有"人彘"的下场，至多也不过舂米到死，命应该是保得住的。毕竟惠帝"仁爱"，有特别疼爱戚姬之子赵王如意，还几次三番保护刘如意性命（若非刘如意不贪睡跟其哥哥惠帝起早去打猎，又或者惠帝不起那么早去打猎，吕后应该没有那么容易下毒手）。
此外，刘邦在世时，戚夫人几次三番吹枕边风要换太子，刘邦也几次在大臣面前欲议立新太子，几次都差不多废掉，直到吕雉请出"商山四皓"，刘邦才哀叹"羽翼已成"，方作罢。但刘邦在前195年死时，吕后也并没有立即就杀掉戚夫人，而是到前194年才借机杀掉了戚夫人，否则她完全可以借帝统新旧交替之机会就杀掉，而不是囚禁她在永巷舂米，并直至戚夫人自己作死唱了那首《舂歌》为吕后落下把柄，才动了杀心，也才被做成人彘以致死。否则，戚夫人也有可能是一辈子不得出宫，做囚犯和舂工，命还是保得住的。
