后来爆发了胡惟庸案，由于李善长和胡惟庸是姻亲，两家经常往来，有人告发李善长的弟弟、胡惟庸的姻亲李存义父子是胡党。但因李善长的关系就赦免李存义父子死罪，幽禁在崇明岛。
紧接着，朱元璋开始清算李善长，清算的理由主要是：
第一、李善长为享乐，找汤和借三百兵士扩建府邸。但是汤和却跟朱元璋说李善长擅自借兵士私用。
第二、不久后，京城有一批罪犯被判流放戍边，李善长几次出面请求赦免丁斌。朱元璋抓来丁斌审查，丁斌再次说李存义与胡惟庸相互勾结谋反，于是，朱元璋重新把李存义下狱问罪。李存义入狱后供出李善长和胡惟庸谋反有牵连。大概意思是胡惟庸撺掇李善长和他一起造反时，李善长仅仅以自己老了，不中用为理由拒绝胡惟庸，而不是尽人臣之道告诉朱元璋或者劝导胡惟庸谋反是错误的。
