虽说刘伯温碍于形势主动辞官了，但其实他早就留下了后手，他的心腹杨宪，在刘伯温走后，杨宪在朝廷通过各种手段抹黑刘伯温的对头，最终让朱元璋对那些官员心生嫌隙，最终召回了刘伯温。
刘伯温第二次回乡就不是自己主动请辞了，而是朱元璋下令让他回家养老，原因却并不在于刘伯温的忠心，而是刘伯温过于干涉皇帝的决策，朱元璋想要任命丞相，但几个人选刘伯温都觉得不够合适，几次向朱元璋上奏提出意见，朱元璋本就感到刘伯温对自己干涉的过多，而且朱元璋属意的杨宪本是刘伯温一派的，两人相交甚笃，仍然不能让刘伯温满意，最终朱元璋以玩笑来试探刘伯温，称看来只有刘伯温最适合当这个丞相了。
不过刘伯温将自己也否定了，称自己也不适合当此重任，这才稍稍打消了皇帝怀疑他忠心的念头。毕竟，他连自己都觉得不合适，想来也不是对丞相之位有所图谋。不过皇上属意的几个人他都觉得不合适，也让皇上对他彻底开始厌恶了。这一次，皇帝在洪武三年以刘伯温已经年老为由，赐他回乡养老，结束了他的为官生涯。
回乡五年以后，刘伯温身患重病，而皇上念得刘伯温之前的功绩，派了御医前去医治，未曾想吃了御医开的药，反而加重了刘伯温的病情，没过多久就病重身亡了，直到胡惟庸被人扳倒，御医才供认是胡惟庸买通他毒死了刘伯温。但刘伯温的传奇却没有在这里停止，因为在他死前，曾留下遗言表示，刘家不会因为他的死去而归于平凡，五代之后必定会再出人才！
