洪武八年，刘伯温病倒，朱元璋派胡惟庸带了御医去看望，留下药方。而刘伯温服药之后症状没有好转，反而更加严重，他告诉了朱元璋后，朱元璋反应淡淡，刘伯温顿时心冷。回到家中，刘伯温明白：该安排后事了。
刘伯温已经不能正常行走，朱元璋让他返回故乡养病，在儿子刘琏的护送下，刘伯温再次回了青田，拒绝吃药，只肯吃饭，这可能与他之前的经历有关。吃饭显然不能续命，刘伯温也走到了生命的尽头，但他依然为一些事情担心。
史书记载，刘伯温临终前，曾经给儿子留下了一本天文书和一段劝谏皇帝的话，告诉儿子刘家后人不能学天象学问，应该把书交给皇帝；他又说，胡惟庸若死，皇上肯定会想起我，到时你再把我这段话写成奏章交给皇上。
果然，就在刘伯温死后5年，胡惟庸牵扯进谋反案，他本人与党羽都被诛杀殆尽。朱元璋想起了刘伯温生前的话，刘伯温的儿子就将奏章献上，朱元璋读后被感动了，他赐给刘家丹书铁券，又另外加恩赏赐。
