将不可一世的霍家引向毁灭的，是霍家长期以来的专权和骄横；而从具体的事件来看，霍家可谓是作恶多端，自取灭亡。
汉宣帝继位之初，霍光的妻子霍显想让自己的小女儿霍成君进宫做皇后。但汉宣帝不忘旧情，将流落民间时陪伴自己的妻子许平君立为了皇后。霍显并没有就此罢休，竟斗胆唆使御医淳于衍毒杀了许皇后，然后送女入宫，立为皇后。许皇后离奇死亡，朝中立刻展开严查，淳于衍也因此下狱。霍显担心淳于衍泄密，只得将实情告诉了霍光。霍光听后大惊失色，本想自己坦白，但在如此重大的事情面前他犹豫了，最终隐瞒了实情。
霍光死后，汉宣帝获悉了许皇后被毒杀的真相，不禁悲愤交加。但宣帝并没有立即发作，他深知霍家的权势之大，于是开始逐步剥夺霍家的实权。这一举动引起了霍家的警觉。他们深知自家的恶行已积重难返，于是决定铤而走险，妄图通过政变废掉汉宣帝以自立。但此时的汉宣帝已经羽翼丰满。汉地节四年（前66），汉宣帝将意图谋反的霍家及其党羽一网打尽。霍光的儿子霍禹被腰斩，妻子霍显和其他子女、亲属都被斩首弃市，连带被诛灭的有数千家之多。至此，霍光后人被尽数灭门。
