1376年，因为"空印案"有上百名曾经的功臣被杀，而这仅仅只是一个开始，到了1380年，"胡惟庸案"中包括胡惟庸，还有陈宁、涂节等人被杀，胡惟庸被诛九族，多年后，这个案件再次引发血案，前前后后有七八万功臣被杀，1385年的郭桓案中，也牵连了六七万人，之后又有蓝玉案。据《明史》所载："明初四大案"后，明朝的开国功勋几乎被屠戮殆尽，只余三两人！
为了避免杀身之祸，1371年，刘伯温选择提前告老回乡，隐居在山野田间，每天饮酒下棋，闭口不提当年的功绩，不过在民间却一直流传着"三分天下诸葛亮，一统江山刘伯温。"由此可见，刘伯温当年虽然没有被封公，在百姓心目中却一直都很受尊重。同样过高的赞誉，在刘伯温眼中并非一件好事。
都说刘伯温神机妙算，眼力过人，精通兵法也精通天文，当年在朝廷中，刘伯温的很多进谏朱元璋都会听，在告老还乡的前一年他还被封诚意伯，此时的他身体还并未出现不适，就辞官归隐了。因为他知道朱元璋的性格有点反复，虽然清正廉明，但是眼里容不得沙子，杀伐果断，料想到将来可能会有什么事情发生。况且朝堂动荡不安，所以提前归隐。
没过几年，刘伯温身患重病，此时朱元璋还派胡惟庸带着御医来瞧，名为治病，其实更为了打探虚实，唯恐刘伯温谎称病重，实则韬光养晦，企图造反，不过这一探，刘伯温是真的病了，不过，朱元璋在如此危机时刻对自己的不关心也让刘伯温心寒。
