在这四人之中，徐达担任的时间并不长，而且长年领兵在外，因此与朱元璋的矛盾并没有太大的冲突。虽然留传着朱元璋用烧鹅害死徐达的故事，但多是坊间传闻，不可尽信。而徐达死后也极尽哀荣，"帝为辍朝(即停止临朝)，临丧悲痛不已。追封中山王.谥武宁，赠三世皆王爵，赐葬钟山之阴，御制神道碑文。配享太庙，肖像功臣庙，位皆第一"，这一点和李、汪、胡三人赐死抄家的悲凉截然不同，因此徐达之死也算是个善终了。
真正令朱元璋下定决心废除宰相的原因，是因为他在当上皇帝以后与李善长、汪广洋、胡惟庸间的矛盾和冲突。这三人中，又属朱元璋和李善长的恩怨纠葛最深。
在朱元璋还是郭子兴的部将时，李善长就已经是朱元璋手下得力的谋士了。据说郭子兴曾经还想挖李善长，但被拒绝了。对朱元璋来说，李善长起到了张良加萧何的作用，"为参谋，预机画，主馈饷"，因此朱元璋对李善长极为赏识和信任，在赏赐勋臣时，李善长甚至超过徐达、常遇春被列为功臣第一位，封为公爵。
可是两人的关系在明朝建立以后就慢慢破裂，原因简单来说就是李善长此人独断专行，很多事情都不向朱元璋请求而自作主张，让朱元璋感觉被忽视了，权力被架空。李善长也感觉到了与朱元璋关系的恶化，于是在洪武四年便以生病的借口上疏致仕。朱元璋自然也就乐得顺坡下驴，同意了李善长致仕的请求，并且出于拉拢功臣的心思，对李善长的家人特加恩礼，还把自己的长女临安公主嫁给了李善长的长子李祺。
李善长走了，丞相的活总得有人干吧。于是在李善长致仕当天，汪广洋接替了李善长右丞相的位子。汪广洋也是追随朱元璋多年的老人，是个遇事深思，小心谨慎的人，朱元璋将他提拔上来就是看重他"谦明持重，善理繁剧"的特点。
