因为与胡惟庸那层关系，老李恳切的向朱元璋道过谦，因此暂时揭过，逃得一条老命。可是事与愿违，洪武十八年(1385年)，有人告发李存义父子为胡惟庸的党羽，曾与胡惟庸过往甚密，参与谋反，朱元璋看在老李的面子上下诏免死，将他们安置在崇明。老李小心谨慎，没把火烧到自己头上。
2、人老昏聩，糊涂之中被加料
1390年，77岁的老李突然想翻修房子，居然跟信国公汤和借300士兵给他干活。好嘛，人家不仅没借，还把这事抖落出去，传到了朱元璋耳朵里，这可就有点犯忌讳了。
赶巧了，同年4月，因为外甥丁斌在京城犯事，要被发配边疆，李善长不能不管，便屡次向朱元璋请求赦免其亲戚丁斌。
这两件事赶一块，可惹恼了朱元璋，于是将丁斌治罪。丁斌以前在胡惟庸家做事，一番严刑拷打，受不了酷刑，心存侥幸想要保住小命，于是供出李存义等过去与胡惟庸互相交往的情况。
