在将士们休息完后，刘伯温就启程离开了，在离开之前，他看到诸葛亮的祠庙的牌匾后，就非常生气，为什么诸葛亮敢称天下第一？而我自己的功绩要比诸葛亮高，我才能排名第一，于是他就下令让人把诸葛亮的牌匾给拆了下来。当部下的人把牌匾拆下来以后，人们发现牌匾后面刻了两行大字：我知道后世有你，你可知道后世有谁？
刘伯温看完这句话以后，连忙跪下磕头，他一连磕了三个响头，紧接着又把自己写的对联给擦掉了。擦完对联以后，他又把牌匾挂到了原来的地方，然后赶紧离开了这个地方。回到朝廷以后，刘伯温赶紧辞去了官职，回家养老去了，可能是因为这件事给他的打击太大了吧。
后来刘伯温就死了，关于他的死因有三种说法：第一种，被胡惟庸给毒死；第二种，朱元璋赐死；第三种，病故。从历史资料上来看，刘伯温的死很有可能符合第一种情况，胡惟庸可能知道朱元璋不喜欢刘伯温，而刘伯温又经常破坏自己的事情，所以就毒死了他。
