善长外宽和，内多忮刻。参议李饮冰、杨希圣，稍侵善长权，即按其罪奏黜之。与中丞刘基争法而訽，基不自安，请告归。太祖所任张昶、杨宪、皆获罪。贵富极，意稍骄，帝始微厌之。
按照《明史》的记载，李善长的格局确实不大，参议李饮冰、杨希圣只是稍微分担了李善长的职权，李善长就将二人论罪罢黜。刘伯温作为御史中丞，在法令上有不同看法，李善长便责骂刘伯温，刘伯温心里忐忑，便要辞官归乡。而朱元璋所看重的官员，都被李善长问责，李善长如此骄纵，朱元璋逐渐开始厌恶他。
当然，李善长真正栽跟头，还是栽在他的学生胡惟庸手里。当年胡惟庸只是宁国的一个知县，因为贿赂李善长300两黄金，并且拜李善长为师，从此得到李善长的提拔和举荐，被朱元璋重用，官至宰相。洪武十三年，明初四大案之一的"胡惟庸案"爆发，宰相胡惟庸谋逆未果，被朱元璋擒获，株连上万人。
