其次，霍光治家不严，放纵家人为非作歹。霍禹、霍山大肆治办宅第，骑马在皇家宫苑中肆意玩乐追逐。霍云时常称病不肯上朝，自己带着宾客外出围猎消遣。霍光的妻子霍显和几个女儿更是视严格的皇宫进出制度为无物，不论白天夜晚，随意出入皇宫禁地，如同进出自家"菜地"一般。主子骄横，奴才便更加飞扬跋扈。霍家家奴冯子都在霍光生前很受宠信，霍光一死，他竟与霍光的遗孀霍显私通。更有甚者，一次，霍家与御史中丞家的家奴争斗，霍家家奴竟然闯入御史中丞的府邸，扬言"踢馆"，最后逼得堂堂御史中丞给他们磕头谢罪才罢休。当时流传甚广的一首著名乐府诗《羽林郎》中便有如下诗句："昔有霍家奴，姓冯名子都。依倚将军势，调笑酒家胡。……"霍家的嚣张可见一斑。
霍家的权势还体现在霍光丧葬的排场上。霍光死后，他的家人极尽铺张之能事，将他的墓地修得如皇家陵寝一般，奢华异常。墓地铺有神道，设有华丽的祠室，还有良家妇女日夜守灵。霍光以及霍家势力的存在让皇帝时常感到"如芒在背"，而专权的霍氏一族也一步步临近了覆亡的深渊。
汉宣帝继位之初，霍光的妻子霍显想让自己的小女儿霍成君进宫做皇后。但汉宣帝不忘旧情，将流落民间时陪伴自己的妻子许平君立为了皇后。
霍光死后，汉宣帝获悉了许皇后被毒杀的真相，于是开始逐步剥夺霍家的实权。汉宣帝接连将霍家的子弟、亲戚调往边境驻守，并裁撤他们的一部分兵权。这一举动引起了霍家的警觉。他们深知自家的恶行已积重难返，于是决定铤而走险，妄图通过政变废掉汉宣帝以自立。但此时的汉宣帝已经羽翼丰满。汉地节四年（前66），汉宣帝将意图谋反的霍家及其余党一网打尽。霍光的儿子霍禹被腰斩，妻子霍显和其他子女、亲属都被斩首弃市，连带被诛灭的有数千家之多。至此，霍光后人尽数灭门。
