刘伯温此时已知道自己处境堪忧，在洪武四年朱元璋赐其还家之后，竭力洗尽铅华，表现得像一个不识字的老农，也不和地方官吏来往。
《明史》中详细的描述了他的微小谨慎："还隐山中，惟饮酒弈棋，口不言功。邑令求见不得，微服为野人谒基。基方濯足，令从子引入茅舍，炊黍饭令。令告曰：'某青田知县也。'基惊起，称民谢去，终不复见。"
然而心系天下的刘伯温托其子建议在青田设立谈洋巡检司（谈洋是浙、闽地界的小地方，走私盐贩往往聚集在此，多出乱民），遭到以左丞相的身份主管中书省胡惟庸的诬陷。胡惟庸对朱元璋说："谈洋这个地方有王气，刘基想占来作自己的墓地，百姓不同意，他便请求设立巡检司来驱赶百姓。"
朱元璋虽然没有加罪于刘伯温，但颇为这些言论所打动，因而剥夺了刘伯温的俸禄。刘伯温心中害怕，入朝谢罪，不敢返乡。洪武八年，此时的刘伯温已不良于行，但仍和京官参加元旦的早朝，随后在奉天殿做了一首《乙卯岁早朝》。正月下旬，刘伯温偶感风寒，朱元璋让胡惟庸派医生来给他治病。《国朝献征录》记载："胡丞相以医来视疾，饮其药二服，有物积腹中，如卷石。公遂白于上，上亦未之省也，自是疾遂笃。"
三月下旬，刘伯温病情恶化，朱元璋亲自撰文赐给他，由刘琏陪伴，在朱元璋的特遣人员的护送下，自京师动身返乡。到家后，刘病情加重，据《明史》记载，刘伯温死前仍在教授次子刘璟为官之道，"夫为政，宽猛如循环。当今之务在修德省刑，祈天永命。诸形胜要害之地，宜与京师声势连络。我欲为遗表，惟庸在，无益也。惟庸败后，上必思我，有所问，以是密奏之。"
四月十六日，刘伯温卒于故里，享年六十四岁。他生前恐怕不会想到后人会将他的一生异化为传奇，而遮掩了一个知识分子"先天下之忧而忧"的真正形象。
