在这期间，李善长、徐达、汪广洋、胡惟庸都曾担任过宰相一职。朱元璋也是在与这四人的相处过程中，愈发感觉君权与相权冲突不可避免，最终为了子孙们的基业而痛下杀手，除掉李善长、胡惟庸、汪广洋，废除了宰相制度。
在这四人之中，徐达担任的时间并不长，而且长年领兵在外，因此与朱元璋的矛盾并没有太大的冲突。虽然留传着朱元璋用烧鹅害死徐达的故事，但多是坊间传闻，不可尽信。而徐达死后也极尽哀荣，"帝为辍朝(即停止临朝)，临丧悲痛不已。追封中山王．谥武宁，赠三世皆王爵，赐葬钟山之阴，御制神道碑文。配享太庙，肖像功臣庙，位皆第一"，这一点和李、汪、胡三人赐死抄家的悲凉截然不同，因此徐达之死也算是个善终了。
真正令朱元璋下定决心废除宰相的原因，是因为他在当上皇帝以后与李善长、汪广洋、胡惟庸间的矛盾和冲突。这三人中，又属朱元璋和李善长的恩怨纠葛最深。
在朱元璋还是郭子兴的部将时，李善长就已经是朱元璋手下得力的谋士了。据说郭子兴曾经还想挖李善长，但被拒绝了。对朱元璋来说，李善长起到了张良加萧何的作用，"为参谋，预机画，主馈饷"，因此朱元璋对李善长极为赏识和信任，在赏赐勋臣时，李善长甚至超过徐达、常遇春被列为功臣第一位，封为公爵。
