归乡后的刘伯温已经时日无多，才过了一个月就去世了，在去世之前，刘伯温叮嘱长子刘琏将《天文书》进献给皇帝，又对次子刘璟做了一番交代。
实际上，刘伯温本来不会死的这么快，当初他生病还在南京城的时候，胡惟庸曾亲自去看望过刘伯温，《明史》记载："基在京病时，惟庸以医来，饮其药，有物积腹中如拳石。"这基本就能确定胡惟庸给刘伯温喂了一味不利于身体的药物。
这件事后来被朱元璋得知，等朱元璋想要收拾胡惟庸的时候，曾经属于胡惟庸一党的中丞涂节倒向朱元璋，搜集胡惟庸的罪证呈给朱元璋，其中就将这件事呈了上去，说是胡惟庸毒死了刘伯温。不过，胡惟庸被处死之后，涂节也没有落得好下场，紧接着就被朱元璋处死了。
刘伯温的死虽不像电视剧《朱元璋》中说的那么凄惨，但是朱元璋的确在一种很绝望的情况下去世的，他本有雄心大志，但面对一个如此多疑的帝王，不得不急流勇退，但即便退了，也不能完全远离政治漩涡。被皇帝猜忌，被重臣排挤，心有淤积，再小心翼翼也无法随心决定自己的命运。
刘伯温死后，他的两个儿子也没有落得好下场，长子刘琏在刘伯温去世的四年后，也被胡惟庸所害，1379年，刘琏被胡惟庸一党的人逼着跳井而亡。而次子刘璟虽然在洪武年间和建文帝时期完好无损，但靖难之变后，刘璟不肯侍奉朱棣，因此对于朱棣的征召，称病不去。朱棣岂能罢休，遂强制将刘璟带到京城。
刘璟也是个硬骨头，称呼已经登基的朱棣为"殿下"，并说："殿下百世后，逃不得一'篡'字。"这一下子，朱棣火了，好你个刘璟，不怕死是吧？于是将刘璟下了狱，刘璟在狱中自缢。
