洪武三年，李善长患病，左丞相的职务由汪广洋代理。洪武四年春节刚过，李善长正式请求退休，朱元璋批准了，由汪广洋为右丞相，参知政事胡惟庸升任左丞相。
卸任了丞相，李善长仍然是韩国公，仍然是太师。算起来，李善长此时五十多岁，病好之后朱元璋没有让他完全赋闲在家，曾经派他监造临濠的宫殿，又曾督察各地的屯田事务。
洪武九年七月，朱元璋把自己的大女儿临安公主嫁给了李善长的大儿子李祺。这是朱元璋第一次嫁女儿，婚礼各环节的礼仪都需要制订，以为后来者的典范，所以各方面做得非常庄严、隆重。整个过程当中，李善长、李祺父子风光无限，一时无两。
可惜好景不长，一个月之后，汪广洋和陈宁就弹劾李善长失礼，朱元璋生病近十天，李善长一直装傻，没有主动问候。而且他的家教很差，驸马都尉李祺接连六天不上朝，有种种的失礼之处。
