朱元璋登基，任命李善长为左丞相，徐达为右丞相。李善长是朱元璋攻下滁阳后，接纳下来的谋士，指挥作战，组织供应，事事皆能妥善处理。还在朱元璋称吴王时，李善长便出任右相国，充分展现他裁决如流的才干，为功臣之首。洪武元年任左丞相，封韩国公，在朝廷上位列第一。徐达常年带兵在外作战，实权掌握在李善长手中。之后，他的儿子李祺又被朱元璋招为驸马，权势更加显赫，成为朝廷中掌握实权的淮西集团首领。
淮西集团势力的日益膨胀，威胁到皇权。朱元璋对他颇存顾忌，于是在洪武四年，以年高有病为名，让李善长告老还乡，时年五十八岁。其实，朱元璋早就有意撤换李善长，还曾经向刘基请教合适人选。
刘基说："善长为元勋旧臣，能调和诸将，不宜骤换。"朱元璋道："善长屡言卿短，卿乃替他说情么?朕将令卿为右相。"刘基连忙顿首道："臣实小材，何能任相?"可能刘基预料到在淮西集团当权的情况下，必然会受到排挤，故而坚决不肯任相职。朱元璋又问："杨宪何如?"刘基答道："宪有相材，无相器。"朱元璋又问："汪广洋如何?"刘基道："器量褊浅，比宪不如。"
太祖又问及胡惟庸，刘基连连摇头道："不可不可，区区小犊，一经重用，偾辕破犁，祸且不浅了。"朱元璋默然无言。但是后来朱元璋还是根据李善长的推荐，任用了善于逢迎的胡惟庸。刘基叹道："惟庸得志，必为民害。"胡惟庸得知后，便对刘基忌恨在心。不过，后来的事实证明，刘基的话还是有道理的。
