当时的丞相胡惟庸初任宁国知县，是因李善长的推荐，又被提升为太常少卿，后升任左丞相，两人因此互相往来。而李善长的弟弟李存义之子李佑，又是胡惟庸的侄女婿。
1380年，胡惟庸因谋反被诛杀，受牵连而处死者甚多，但李善长仍然如故。御史台缺中丞，李善长暂理御史台事务，多次向太祖提出建议。
后来御史上奏弹劾李善长。而李善长的奴仆卢仲谦等，也告发李善长与胡惟庸之间互相贿赠，经常偷偷私语。证据确凿，说李善长虽是皇亲国戚，知道有叛逆阴谋却不揭发检举，而是徘徊观望，心怀两端，大逆不道。
当时正好有人说将要发生星变，会有灾祸发生，占卜的结果是灾祸应当降临在大臣身上。于是，朱元璋便连同其妻女弟侄等全家七十余人一并处死。
