不同于霍光的谨慎，霍家的其他人几乎都是飞扬跋扈的代名词，其中，霍光的妻子霍显尤其为最。霍显原本只是霍光夫人的陪嫁侍女，正室死后才被扶正，后来，凭借着生儿育女，在家中渐渐的有了地位。霍显为人骄奢淫逸、举止张狂，仗着霍光的地位一直胡作非为，甚至，连皇帝都不怎么放在眼里。
为了让自己的女儿霍成君当上皇后，霍显买通御医残忍毒害了当时已有身孕的许皇后。汉宣帝得知后，虽然，忌惮霍光的势力隐忍不发，但是，却一直记恨在心。霍光的夫人已经如此，其家中奴仆更是可想而知。公元前68年，辅政二十余年的三朝元老霍光，终于迎来了生命的终结。
尽管，汉宣帝心中对这位严格的大臣有所不满，但是，念及对方为汉朝做出的贡献，汉宣帝还是为他举办了一场汉朝以来最隆重的葬礼，将他和开国功臣萧何相提并论。霍光死后，其家中族人却仍然不知收敛，在朝中明目张胆地受贿卖官，对内家政不修，对外大肆敛财。
其结果就是，这样的家族终于激起了汉宣帝将之拔根而起的决心。习惯了多年来的嚣张跋扈，霍显在面对汉宣帝的轮番打压之时，非但没有任何畏惧，甚至，意图发动政变谋反。然而，霍显终究不是她的丈夫，野心有余却能力不足。之后，密谋谋反之事被汉宣帝察觉，使得霍家上下尽数被捕。
