这时御史大夫汪广洋、陈宁上疏给朱元璋说："李善长恃宠自纵，陛下因病10日不能上朝，他都不来问候。驸马都尉李祺也已经6日不来朝见，召他至殿前，又不认罪，这是对陛下极大的不敬。"
朱元璋很是生气，立马下旨：将李善长的4000担年禄，削减为2200担。朱元璋已对李善心存芥蒂。但李善长依然我行我素，并没有主动向朱元璋认错和及时的告老还乡。
1385年，有人告发李存义及其儿子李佑，说他是胡惟庸一党。朱元璋想了想，对李存义父子下诏免死，将他们安置在崇明。
皇恩浩荡，李善长还是没有表示感谢。对此，朱元璋心生怨恨。
