杨宪和汪广洋先后被朱元璋处死。到了胡惟庸担任宰相的时候，李善长和胡惟庸本来都是淮西老乡，他们居然结为儿女亲家。李善长虽然退休在家，但是缺利用他在朝中的老部下和胡惟庸仍然风起云涌。胡惟庸则是对以刘伯温为首的浙东派展开公开打击，简直到了嚣张跋扈的地步。是可忍孰不可忍，朱元璋终于忍不住了，废除宰相的时机也成熟了。
历史上非常有名的"胡惟庸案"发生了。朱元璋最终以胡惟庸造反为名，诛灭胡惟庸九族，并牵连李善长等3万多人。再加上后来的蓝玉案，一共诛杀4.5万人。宰相制度很快就被废除了，朱元璋为了进一步加强皇权，设立了历史上非常著名的锦衣卫制度。
