李善长的加入，使得朱元璋外出征战时再无后顾之忧，李善长专门针对元朝的制度修建了一套适合他们自己的管理方式，将大本营打理的井井有条。后来在朱元璋称帝后，李善长总揽朝中大小适宜，百姓安居乐业。在朱元璋眼中，李善长的能力就连汉朝时期的萧何都未必比得上。《明史》：
太祖曰："当年萧何有馈晌之功，千载之下，人人传颂，与善长相比，萧何未必过也。 "
后来在朱元璋诛杀大量的功臣之后，李善长也担心自己日后受到清算，于是在洪武四年（1371年）辞官还乡了，回到家中，李善长尽管被赏赐万亩耕地，但是他也并未铺张浪费，每日与家人耕作，仿佛完全融入到乡间生活一般。这种行为确实是一个明智的选择，是能够安享晚年的最好方式。然而，为朱元璋立下如此大功的李善长，为何告老还乡19年之后，朱元璋还不放过他？
归其原因，还得从洪武十三年（1380年）说起，在这一年，胡惟庸因谋反被诛杀。虽然此刻的李善长早已辞官回家不问政事，但是胡惟庸乃是李善长举荐的人，并且李善长的侄子李佑还是胡惟庸的侄女婿。按理说，胡惟庸的谋反绝对会牵连到李善长的。但是朱元璋念及旧情并未处置李善长。
后来到了洪武十八年（1385年），有人告发李善长的弟弟李存义父子实为胡惟庸的党羽。按法，李善长应当受到株连，然而朱元璋依旧没有处死李善长。李善长侥幸保住一命，却并未向朱元璋表示感谢，这让朱元璋心里很不舒服。
