刘伯温辞官以后，不久，他的死对头李善长也辞官归居了。丞相之位也因此空置了下来，于是朱元璋专门面见刘伯温，问他可有合适的丞相人选。其实，就是想测试刘伯温有没有二心。太祖问杨宪为丞相可好，刘伯温极力反对，说："杨宪有当丞相的才能，却没有做丞相的气量。"太祖又问汪广洋可好，刘伯温回答："此人的肚量比杨宪更狭窄。"太祖接着问胡惟庸可好，刘伯温又回答道："丞相好比驾车的马，我担心他会将马车弄翻。"太祖于是说道："我的丞相，确实只有你最适合来当了。"刘伯温谢绝说："我太疾恶如仇了，又不耐烦处理繁杂事务，如果勉强承担这一重任，恐怕要辜负皇上委托。天下何患无才，只要皇上留心物色就是了。
这几个人确实不适合担任丞相之职。"朱元璋却偏偏不信，执意启用这三人。后，果如刘伯温所言，杨宪，汪广洋，胡惟庸任职以后，皆因罪下台。此后，朱元璋便更忌惮刘伯温了。
洪武八年，刘伯温感染风寒，朱元璋得知以后，派胡惟庸带着御医前去诊治。谁知吃了御医开的药以后，刘伯温只觉得体内像有石块在挤压一样，病情更加严重了。后，刘伯温撑着病体面见朱元璋，向他诉说了胡惟庸带御医开的药有问题。不料，朱元璋根本没理会，只是说他想多了。
此时，刘伯温也明白了，这药怕是朱元璋亲自下的命令。于是，他动身回了老家，谢绝了一切人的诊治，因为他知道君要臣死，臣不得不死的道理。刘伯温大限之日，他对他的后人说："我死以后，你们务必要把那本天文书，呈交给皇上，自此我们刘家的后代，千万不要再碰这门学问。"洪武八年农历四月十六，刘伯温卒，享年65岁。
