严嵩如此飞扬跋扈，时间一长，引起了明世宗的不满，就开始亲近阁臣徐阶。徐阶为了争权，再加上明世宗的暗中授意，开始和严嵩对抗，可一直没能成功。要是从这一点来看，明世宗还没有昏庸到不可救药的地步。后来明世宗的寝宫--万寿宫失火，严嵩提议明世宗到南城暂居，引起了明世宗的不满，因为当年明英宗曾经被软禁在那里，明世宗很忌讳。
当时徐阶负责修建万寿宫，把万寿宫修建得更加漂亮，豪华，明世宗非常满意，渐渐的徐阶取代了他的地位。明世宗为了长生，信奉仙神，对道士蓝道行很信任。徐阶和他的关系不错，就托蓝道行说严嵩的坏话。明世宗终于下定决心除掉严嵩。
御史邹应龙上书弹劾严嵩，明世宗借机下令严嵩退了休，将严嵩的儿子，严世蕃交大理寺定罪。严世蕃获罪以后仍然难改恶习，竟勾结倭寇，事发后被杀，严嵩全家被罢官为民。这就是大奸臣的下场，由于明世宗还没有昏庸到无药可救的地步，才保住了大明的江山，天下才没有大乱。
