洪武八年(1375年)二月，他抱病见了朱元璋，向他婉转表示:自从依照胡惟庸带来的御医开的药方煎药后，他的身体更差了。他本来希望能通过这诉求得到关心，但遗憾的是，朱元璋并没有对此上心，依然不闻不同。他心寒至极。三月，病情加重的刘伯温在其子刘链以及朱元璋的特遣人员的护送下，自京师动身返乡。
回家后，刘伯温拒绝一切药食， 他迫使自己如常饮食、作息，过起了所谓的"一般生活"。四月，刘伯温感觉时日不多，找来他的两个儿子交代后事，说:"我 无后你要立刻将天文呈给皇上，不能耽误:并且以后不要让刘家的子孙们学这门学问。"这时他又嘱咐道，"从仕途一定要学会刚柔并济， 公平与人，道德与法律并重，要仁学行民，方可佑我大明。"最后，他将他所想的十条计策写在奏折上，交给刘链，告许他，在胡惟庸死后务必将此密折献给皇上，也许皇上那时才肯听他所言。四月十六，逝于家中，享年六十五岁。
刘伯温死后，后代不断为他追封功德。武宗年间， 他被追认为太师，谥号文成，世宗时又受赐太庙。这充分表现后代皇帝对他的功劳道德的认可。
史称，刘伯温是被胡惟庸害死的。( (明太祖实录》)记载：
"史中丞涂节言: 前诚意伯刘基遇毒先，广洋宣知状。上(指)问广洋，广洋对以'无是事"。上颇闻(刘)基方病时，丞相胡惟庸挟医往候，因饮以毒药。乃责广洋欺罔，不能效忠为国，坐视兴废。"
