事实上，刘元璋来请求刘伯温的支持，但是刘伯温不支持他，这使他不满，其实刘伯温也知道，但是李善长在朱元璋面前说不行，这不是良心，挑战了自己的道德基础，刘伯温不想这样做。
后来，另一起事件彻底激怒了朱元璋。当时，李善昌看到朱元璋对他起了疑心，于是他退休回到了家乡。当时，首相的职位空缺了。他又问刘伯温。他问杨先他怎么样。杨贤和刘伯温关系很好，但是刘伯温说他不能。然后朱元璋问汪广洋他怎么样，刘伯温也说他不行。最后，朱元璋问胡魏勇他怎么样。刘伯温仍然如实解释说，这个人也做不到。事实上，刘伯温这么说，是因为他客观诚实的表现，而不是徇私，但是这一次朱元璋这时说了一句，他说，谁都不能，看来你是最合适的，这说明朱元璋已经开始对刘伯温不满了。
当时，刘伯温也看穿了这两件事，他真的不适合再呆下去了，所以他选择了"撤退"。不幸的是，他仍然没有退出。
