明朝的开国宰相是李善长和徐达，他们分别是左右宰相。徐达是武将，长期在外，所以李善长一人独大。随着权力的膨胀，李善长开始拉帮结派，他开始自然而然地成了淮西派的首领，他千方百计地重用自己的老乡，而他们的对立面则是浙东派，像刘伯温就是浙东派的代表，一直都受到李善长的排挤。朱元璋对这些都看在眼里。但是李善长毕竟和自己一起南征北战，立下汗马功劳，又不忍心拿他开刀。另一方面讲，刚建国没几年，开刀好像也不大合适。
后来朱元璋越来越觉得李善长碍眼，李善长自己都觉得不对劲了。他在58岁那年选择告老还乡。
在李善长之后，朱元璋问过刘伯温，他想选杨宪、汪广洋、胡惟庸这三个人之一当宰相，看刘伯温有什么看法，刘伯温说三个人都各有弱点，其中杨宪稍微好点。但都不适合当宰相。
朱元璋听了很高兴。他开始酝酿自己的废除宰相制度的计划了。
