严高父子不仅卖官粥爵，广开行贿之门，连边饷军费都不放过。户部给边防将士发的饷银，早上从国库出来，其中有百分之六十晚上就进了严府的大门。以至于，边关武备常是一些废铜烂铁。严嵩父子的贪婪世人皆知，京城百姓私下管他们叫"钱痨"。严世蕃为了炫富，每攒够百万之数就举办一次盛宴，在其落败之前，这样的宴会摆了五次之多。为了储存金银珠宝，严世蕃让人在相府和老家挖了豪华地窖，而且储藏量惊人。严嵩的府第雕梁画栋，宣丽堂皇，严世蕃曾自夸说：朝廷不如我富。"及至严嵩后来被抄家，抄没的黄金有三万余两，白银有二百多万两，其他珍珠宝玩价值数百万两。就连严嵩的家仆严年，家财也以数万两计。
严嵩60岁的时候，精神头十足，能在内阁连续干上几天几夜都不回家。但他到了80之后，渐渐开始力不从心，很多时候，皇上说的话，他要反应半天，才能理解。他一直是顺着帝心做事，现在头脑跟不上，琢磨上意也费力起来，有的时候还会说错话、做错事。偏偏他的儿子除了花天酒地，索贿纳污之外什么本事也没有。
严嵩放不下子孙，又对上"无所用"。最糟糕的是，他满身的把柄，他的副手徐阶年富力强，光等他下台，就等了8年。嘉靖四十一年(公元1562年)，嘉靖下令免去严嵩一切官职，勒令回乡，其子严世蕃谪戍雷州卫。嘉靖四十三年(公元1564年)严世蕃从雷州跑回江西老家，御史上书弹劾。嘉靖大怒，下令追捕严世蕃，第二年结案问斩，严嵩被削籍为民，家产尽抄。严嵩衣食无着，只得在祖坟旁搭一茅屋苟活。嘉靖四十五年(公元1566年)四月，严嵩在孤独和疾病中去世。他死的时候，连棺木都买不起，也没有人前来吊唁。
