朱元璋一直都是以李善长为文官首臣。李擅长无论是为朱元璋筹集粮草、兵饷，还是总理日常事务、制定典章赋税，都是一把好手，有人认为李擅长既有萧何之能，又有张良之才。
洪武四年，李善长"以疾致仕"。朱元璋赏赐了大量的土地、塚户、佃户、仪仗士，同时把李善长弟弟李存义提拔为太仆丞，女儿嫁给李善长的儿子，封其为驸马都尉，要公主在李家严守妇道。
李善长辞职后，朱元璋先后封汪广洋和胡惟庸都为右相。有一次朱元璋生病十天不能上朝，汪广洋说李善长恃功而骄，皇帝生病了不闻不问，漠不关心，其儿子是当朝驸马，也不到宫中问安，朱元璋为此怀恨在心，削减了李善长一千八百石岁禄。汪广洋由于无法做出成绩，被贬到广东行省做参议后，李善长重新出山和李文忠一起重掌大权。
