李善长和中丞刘基争论法令时采取了人身攻击加威胁的方式，刘基内心惶恐，告老还乡了，于是李善长便推荐胡惟庸当上了中丞。1380年，胡惟庸因图谋不轨被罪诛九族，整个朝廷上上下下被牵连的共达3万余人，一时间朝廷人心惶惶，唯独与胡惟庸关系亲密的李善长什么事也没有。
有人向朱元璋告发胡惟庸在策划谋反的时候，李善长的弟弟李存义参与了其中，而且还是胡惟庸的党羽。但是朱元璋非但没有将李善长治罪，还赦免了他的弟弟李存义。李善长本应该感谢朱元璋对其的开恩才是，但是李善长并没有像朱元璋有任何表示。
这使得朱元璋觉得自己的好心被负，于是心怀怨恨。说来，李善长和朱元璋也是亲家关系，他的一个儿子分别娶了朱元璋的女儿。所以他自觉自己是皇亲国戚，有恃无恐。还以为君主赦免亲戚的罪过理所应当。
俗话说"伴君如伴虎"，朱元璋此时不算账，总有清算时。1390年，77岁的李善长告老还乡，本来如果他不再管京城里的事情，也许还能有个好的结局。
