其实李善张退休的比较早，在洪武四年的时候，就因为生病告老还乡。朱元璋当时非常舍不得他，给了他大量的土地财物。后来李善长病好了，朱元璋就让他绑扎修建濠州的宫殿。因此李善长可以说是半退休状态。
接下来的日子里李善长也没有闲着，丝毫没有一个退休干部的样子。经常插手朝中事务不说，与一些大臣还很亲密，皇帝最忌讳的就是这种人。其中胡维庸就是李善长推荐的，后来关系还不错，李善长的侄子后来还成了胡维庸的侄女婿，两人成了亲戚。
胡维庸案发之后，虽然有人告发了李善长的弟弟李存义父子是胡维庸的党羽，但朱元璋看在李善长的面子上，免了他们的死罪。然而李善长并不知道感恩，没有进宫谢恩。从此之后，朱元璋就怀恨在心，在心里埋下了一颗种子。
