对于霍氏的衰亡，时人早有所论，"茂陵徐生曰:'霍氏必亡。夫奢则不逊，不逊必侮上。侮上者逆道也。在人之右，众必害之。霍氏秉权日久，害之者多矣。天下害之，而又行以逆道，不亡何待!'"根据史料所记载，不难推断出霍光家族的衰败，也离不开两个最为常见的因素，奢侈无度和权势的傲慢。
奢侈无度可以理解，整个家族铺张浪费，没有下限地放纵与奢侈享乐。而权势的傲慢，更是被霍光等人体现得淋漓尽致。比如，对皇帝刘贺与汉宣帝刘病已的立废，都是由霍光一手主持的；此外，霍光的儿子霍禹，甚至可以多次目无皇帝的不参加朝会。对于这些现象，霍光也并没有加以干涉和管制，没有意识到这样做的不合理性，间接也说明了其文化素养确实不高，或者站在高处的他，也认为这是他家族理应享受的一种特权。
种种现象，都体现了霍光家族仗着专权的优势，将所有傲慢摆在阳光底下，如此不懂收敛，怎么会不招来皇帝的削弱与作为呢？
02霍光夫人的大胆行为是致命因素
