洪武九年朱元璋将临安公主下嫁给李善长的儿子李祺，并授其驸马都尉。李家受宠显赫，让人极为羡慕。李祺与公主结婚一个月后御史大夫汪广洋、陈宁上疏说：李善长恃宠自纵，陛下因病几乎十日不能上朝，他都不来问候。驸马都尉李祺也六日不来朝见，召他至殿前，他也不认罪。这是对陛下极大的不敬。 朱元璋觉得他们说得有道理就将李善长的俸禄由四千石削减至两千两百石。不久朱元璋又让李善长与曹国公李文忠一起统领中书省、大都督府、御史台，同议军国大事，监督圜丘之工程。
丞相胡惟庸初任宁国知县，是因李善长的推荐。后来他被提升为太常少卿，又升任左丞相，两人因此互相往来。而李善长的弟弟李存义之子李佑又是胡惟庸的侄女婿，这就导致他们之间的关系更为紧密。
洪武十三年胡惟庸因谋反被诛杀，受牵连而处死者甚多。但李善长却没有受到牵连。御史台缺中丞，李善长暂理御史台事务，他任职期间多次向朱元璋提出建议。
洪武十八年有人告发李存义父子实为胡惟庸的党羽，朱元璋下诏免死，将他们安置在崇明。但李善长并没有表示感谢，朱元璋因而对他怀恨在心。
