如此贪官奸臣，当然不能持久，1562年，有山东道士蓝道行以善于扶乩闻名于燕京，徐阶将蓝道行介绍给世宗，一日蓝道行在扶乩时称"今日有奸臣奏事"，刚好严嵩路过；世宗对严嵩父子日久生厌。
最终，严氏父子的权势被蓝道行的几句话推倒，严世蕃被判斩首，在行刑前大哭一番，而其父严嵩被没收家产，削官还乡，无家可归。两年后病卒 ，终年八十七岁。他死的时候，寄食于墓舍，既无棺木下葬，更没有前去吊唁的人。
但是对广大文人，尤其是书法爱好者来说，严嵩却是他们崇拜的"偶像"，留传至今不多的严嵩书法作品中，大体上可分为榜书、碑文、印文、卷轴四大类；崇文门的"至公堂"，原翰林院署大堂上的"翰林院署"，山海关的"天下第一关"，山东曲阜的"圣府"等俱出自严嵩之手。
