不久，李善长的一个远房亲戚丁斌因事被朝廷流放。在丁夫人一把鼻涕一把泪的苦苦哀求下，李善长试着给朱元璋写了一封信，大意是看来老臣追随陛下多年的份上，给丁斌一次改过自新的机会。朱元璋下旨撤查此事，这一查不得了，竟查出了李善长十年前与胡惟庸的谋反之事牵扯极深。负责丁斌一案的左都御史詹徽，以丁斌曾是胡惟庸老部下作为切入口，竟然查出了惊天秘密，李存义父子与胡惟庸谋反事确有牵连，二人被逮系下狱严刑逼供后供词中又牵扯到李善长。胡惟庸曾指使李存义前去劝说李善长参与谋反，李善长大惊"尔何言为者！审尔，九族皆灭"，不许，乃又指使李善长故人杨文裕前去劝说，并许诺事成后，许以淮西之地，李善长漠不做声，已有所心动。
胡惟庸又亲自前去劝说，犹不许。胡惟庸又使李存义再去劝，李善长被逼的没办法，说了一句"我老了，命不长了，你们好自为之吧"，不反对也不支持胡惟庸谋反，李善长还隐瞒胡惟庸通蒙谋反之事。这些事情被揭露后，举朝哗然，御史交相弹劾。洪武二十三年（公元1390年），李善长被赐死，连累全家七十余口，仅公主驸马未被治罪。朱元璋并未作罢，将李善长的罪行作《昭示奸党录》，公布于全天下。李善长自缢之前，意味深长的说了一句话:
进亦疑，退亦疑，东西南北惟命之从，毋宁束身以听于上耳。
李善长的死，代表着以他为代表的淮西集团的彻底衰败。
