不久，掌都察院大学士赵贞吉，因为高拱挟私憾考科道，上疏请止。高拱不悦，与之相倾，唆使门生给事中韩楫劾赵贞吉庸横。赵贞吉也抗章劾拱。朱载垕顾眷高拱，竟令赵贞吉致仕。赵贞吉曾因高拱以内阁掌吏部，权如真宰相，请李春芳与掌都察院设谋，以遏高拱权力，李春芳答应了。
赵贞吉离开后，李春芳自不安，李春芳又曾因为徐阶之事，与高有隙，遂于隆庆五年（公元1571年）五月，乞休归田。
高拱接任首揆，越发趾高气扬。当时，殷士儋入阁辅政。殷士儋也是高拱在裕府时的同僚，因不曲事高拱，久不得提拔。后取中旨入阁，高拱不悦。
后来，有人弹劾高拱心腹张四维，高拱疑殷士儋指使，又唆韩楫相胁。殷士儋不能忍，在内阁当面讽刺高拱："若先逐陈公，再逐赵公，又再逐李公，次逐我。若能长此座耶？"说罢，竟挥拳击高拱。
隆庆五年（公元1571年）十一月，殷士儋也被驱出。这样，旧辅除张居正外，悉被高拱排斥一净。高拱位居极品，颐指气使，专擅国柄。
