李善长熟读史书，知道功成身退的道理，洪武四年，他因病致仕，后来虽然一度复出，但大体上是退出了权力中心。结果他仍然没能逃脱杀身之祸，这其中，最直接的原因和他的弟弟李存义有关。
洪武七年，李存义升任太仆寺丞，李存义的儿子李伸、李佑都做了群牧所的官员。其中这位李佑娶了丞相胡惟庸哥哥的一个女儿，如此一来，李善长也就成了胡惟庸的亲戚。
洪武十二年，胡惟庸被指谋反，和御史大夫陈宁、中丞涂节等人被处死。朱元璋在处理胡惟庸一案时，最初根本没有人提到李存义，更没有联系到李善长。
几年之后的洪武十八年，情况有了微妙的变化，有人开始把李存义、李佑父子与胡惟庸联系到一起，认为他们都属于胡惟庸党。朱元璋把他们父子流放到崇明岛，仍然没有严厉处置他们。
