洪武四年（公元1371年），李善长"以疾致仕"。朱元璋甚是慷慨，赐大量的土地、塚户、佃户、仪仗士，擢升李善长弟弟李存义为太仆丞，还把女儿嫁给李善长的儿子，封其为驸马都尉，要公主在李家严守妇道。
李善长辞职后，朱元璋先后封汪广洋和李善长举荐的胡惟庸都为右相。汪广洋鉴于朱元璋与李善长的矛盾，事事请示皇帝，上书打压前丞相："善长狎宠自恣，陛下病不视朝几及旬，不问候。驸马都尉祺六日不朝，宣至殿前，又不引罪，大不敬。"看来离职不离京的李善长，恃功而骄，对皇帝也不关心了，就连皇帝大病十天不能上朝这样的大事件，也不闻不问；其子做了皇家驸马，六天不入朝，皇帝宣进宫，也不认错，是大不敬。
朱元璋将原元帅府的令史汪广洋擢升为右相，但汪能力有限，不久，被胡惟庸与李善长联手弄走。汪广洋看似对李、胡敬而远之，但着实能耐不济，不是对手。
李家父子如此对待朱元璋，朱元璋心里自然不舒服，削减了他一千八百石岁禄。汪广洋也不争气，没出成绩，朱元璋只得把他贬到广东行省做参议，要李善长重新出山，和朱元璋的外甥兼养子、曹国公李文忠总理中书省、大都督、府御史台，同议军国大政。善长虽老，做事仍有作为，帮忙打理御史台，很快见成效。
胡惟庸成了独立丞相。后来，朱元璋把汪广洋召回复职，胡惟庸升为第一丞相。胡惟庸是李善长带出来顶上去的，能力不出众，但善于隐瞒，擅长玩动作，让朱元璋很恼火。但这个胡首相和李首相，关系很不一般，两家也是姻亲，李的侄儿是胡的侄女婿。朱元璋以谋反罪敲掉胡惟庸，有人告发李善长的弟弟、胡惟庸的姻亲李存义父子是胡党。
