这时候李善长的权势已经到达了顶峰，朱元璋更是将自己的爱女临安公主下嫁给他的儿子李祺，授予他驸马都尉的官衔。相国再加上皇帝的儿女亲家，李善长一族犹如烈火烹油，站在了臣子们的最顶端。
李善长虽然外表宽厚，但是内心却是非常嫉贤妒能。特别是另外一位开国谋士刘伯温，李善成非常厌恶他。当时刘伯温掌管御史台，"风闻奏事"就是他的职责，但是却不小心冒犯了李善长。
即使刘伯温是依法行事，李善长仍然依靠权势咄咄逼人，将刘伯温逼迫到内心非常不安，只能请奏告老归乡的地步。而这些，都被朱元璋看在眼里。后来，李善长开始变得独断专行，特别乐于显示自家的权势与财富。
不仅家财外露，还让国家的兵士来帮他修房子，这可是真正的"公器私用"。本来由于李善长大权独揽，就已经威胁到朱元璋的皇权威严，而李善长的所作所为，更是让朱元璋愤怒不已，只不过一直隐忍不发。
朱元璋也想保全二人之间的情谊，所以当李善长在洪武四年提出因病致仕的时候，朱元璋非常慷慨地赠与他大量的土地、佃户，并且给李善长的弟弟升官。
