李善长外表宽厚温和，内心却爱嫉妒，待人苛刻。参议李饮冰、杨希圣，只是稍微冒犯了他的权威，李善长马上将其罪上奏皇上，黜免了他们两人。李善长与中丞刘基争论法令，以至于辱骂刘基，刘基内心不安，便请求告老还乡。
朱元璋所任用的张昶、杨宪、汪广洋、胡惟庸都获罪，只有李善长还像原来一样在朝廷做官。李善长权势地位到了顶点，心里慢慢变得傲慢起来，朱元璋开始对他有所反感。
1371年，李善长因病辞官归居，朱元璋赐临濠地若干顷，设置守坟户一百五十家，赐给佃户一千五百家，仪仗士二十家。一年后，李善长病愈，太祖便命他负责修建临濠宫殿，将江南富民十四万迁徙濠州耕种，让李善长管理他们，留在濠州数年。
