不过李善长虽然才能卓著，但可惜有一缺憾：书读得少，自幼虽然家境殷实，但因为天赋异禀、多谋善断，深受乡邻尊重，便有些恃才放旷耽误了学业，在读书方面只能说是略通文墨。为何李善长有条件读书却不读呢？很显然与之过早成名有关，以他的聪明伶俐他觉得可以齐家治国平天下，便对书中之言有些轻视。但他不知道的是：书本的作用不仅是教会人出人头地，更是教会人学会为人处世，尤其是伴君之道。
同时熟读书之人便也能看通世事，心胸也会变得开阔，不至于纠结一处走死胡同。很可惜李善长因为书读少了，使得功成名就后的他在为人处世之道以及心胸开阔方面裹足不前，甚至是后退数里，这为他晚年的凄惨灭门埋下了伏笔。
于是跻身于朝臣之首的李善长在大权独揽后渐渐显示出了其心胸狭隘的一面，一是任人唯亲，开始在朝廷组建同乡人的小圈子--淮人集团。对于同乡以外的人，他基本一律打压。当听闻朱元璋说杨宪可居相位，李善长私下便对他的淮人集团说道："杨宪为相，我等淮人不能为大官矣"，于是先下手为强，将杨宪多方陷害，致使其无缘相位，随后将同乡的胡惟庸推上了相位。
组建了淮人集团的李善长脾气也变大了许多，尤其晚年的他这方面更甚，开始了富贵骄奢的生活，并且对其他朝臣颐指气盛，这不仅让文武百官很是不满，也引得朱元璋极为厌烦，于是之前还经常称赞李善长"处事果断"，现在却斥责其"独断专行"；以前还时常夸奖他"为朕分忧"，如今指责他"目无皇帝"。
