可是两人的关系在明朝建立以后就慢慢破裂，原因简单来说就是李善长此人独断专行，很多事情都不向朱元璋请求而自作主张，让朱元璋感觉被忽视了，权力被架空。李善长也感觉到了与朱元璋关系的恶化，于是在洪武四年便以生病的借口上疏致仕。朱元璋自然也就乐得顺坡下驴，同意了李善长致仕的请求，并且出于拉拢功臣的心思，对李善长的家人特加恩礼，还把自己的长女临安公主嫁给了李善长的长子李祺。
李善长走了，丞相的活总得有人干吧。于是在李善长致仕当天，汪广洋接替了李善长右丞相的位子。汪广洋也是追随朱元璋多年的老人，是个遇事深思，小心谨慎的人，朱元璋将他提拔上来就是看重他"谦明持重，善理繁剧"的特点。
可汪广洋这人看上去老实，却也是个人精，他敏锐察觉到了朱元璋与李善长之间的问题，于是他选择了和李善长"独断专行"相反的行事方式，那就是遇事处处向朱元璋请示。朱元璋一看，我请你来是帮我干活的，你这什么事情都要我拿主意，那要你有什么用呢？于是朱元璋便将李善长推荐的胡惟庸提拔为丞相，并将汪广洋贬为广东参政。
对于胡惟庸，朱元璋一开始对他是很满意的，因为他既善于任事，又不像李善长那样专断独行。可是等汪广洋被贬后不久，朱元璋发现胡惟庸遇事隐瞒、专断，甚至贪婪好利。于是朱元璋又把远在广东的汪广洋叫了回来，希望能通过汪广洋来制衡胡惟庸。
