洪武二十三年李善长已经76岁了！他想建造府宅就从信国公汤和那里借卫士三百人，汤和把这件事告诉了朱元璋。四月，京城有百姓受株连而被发配到边疆，李善长屡次请求赦免其亲戚丁斌。朱元璋觉得蹊跷就让人审问丁斌。丁斌以前在胡惟庸家做过事，他供出李存义等过去与胡惟庸互相交往的情况。
朱元璋下令将李存义父子逮捕审讯，他们说出了胡惟庸企图谋反，让他们暗地里劝说李善长。李善长知道后很吃惊。他没有参与，但让他们小心。
胡惟庸又派李善长的老友杨文裕去劝李善长和他们一起谋反。并答应事成之后封他为淮西之王。李善长虽然不同意但却十分心动。后来胡惟庸亲自去劝说李善长，李善长还是没有同意。过了一段时间后胡惟庸又派李存义去劝说李善长。李善长叹道：我已经老了。我死之后你们好自为之。
后来又有人告诉朱元璋说：蓝玉率军出塞，到捕鱼儿海时俘获胡惟庸派去私通蒙古的人，李善长又匿而不报。御史竞相上奏弹劾李善长。而李善长的奴仆卢仲谦等也告发李善长与胡惟庸之间互相贿赠，经常窃窃私语。这些证言显示李善长虽是皇亲国戚，知道有叛逆阴谋却不揭发检举，而是徘徊观望，心怀两端，实属大逆不道。
当时正好有人说将要发生星变，会有灾祸发生，占卜的结果是灾祸应当降临在大臣身上。于是朱元璋便李善长全家七十余人一并处死。
