然而功勋卓著的刘伯温却只被朱元璋封为诚意伯，不当没能封公爵，连个宰相也没混上。刘伯温心灰意冷告老还乡 ，但是朱元璋对他依然不放心，经常派人以慰问之名前去监视刘伯温。刘伯温只好韬光养晦，自求多福。
洪武八年（公元1375年）正月下旬，刘伯温不慎感染了风寒，身体不舒服，朱元璋得知后派遣右丞相胡惟庸，和御医前去刘伯温家中探望。到了之后，胡惟庸授意御医为刘伯温开药吃，结果刘伯温服药之后身体不适，两个多月后就痛苦去世了。
在其临死之前两个儿子刘琏和刘璟守在身旁，弥留之际刘伯温预言：刘家五世后必出人才，五世后人有真正奇遇。当时的他回儿子说："生死有命，你们不用太过悲伤，在我死后，朝廷应该会把我的爵位革除，但是在刘家五代之后肯定会有人才出现，到时再次被朝廷重用，我死之后，你们要把我的遗言记住，流传下去。"留下遗言的刘伯温就闭上了眼睛。
刘伯温对于大明朝有这举世之功，对于朱元璋来说，以刘伯温的才能，即使是退出朝政，对朝廷依然是一个隐患，因此在刘伯温病重之际，通过太医对其下手，最后导致其一命呜呼。
