汉宣帝即位后，虽然霍光要还政，却被明智的宣帝拒绝了，国家大事还是由霍光大权独揽。此时的汉宣帝对霍光一是感激，二是忌惮，甚至“若有芒刺在背”。臣子有废立帝王之心，还有废立帝王之行，下一任的皇帝，是绝对不会相信这个人会对自己百分百的忠心。
而且霍光虽然为官有道，却不懂得收敛，《汉书》记载其“党亲连体，根据于朝廷”。霍光任人唯亲，其子其侄为中郎将，弟弟为奉车都尉，都手握重兵。而宫廷卫尉则由两个女婿担任。也就是说，长安城内外的兵权，都在霍氏一门手中，更不用提担任文官的霍家人。这样的霍光跟汉宣帝说自己没有私心，多少有几分戏谑。正如司马光所言“光久专大柄，不知避去，多置亲党，充塞朝廷，使人主蓄愤于上，吏民积怨于下”。霍氏专权，君臣皆怨。
专横跋扈，家奴猖獗
“子孙以骄侈趣”也是霍光为霍家结局埋下的伏笔，治国有方，治家无道。霍光为人谨慎，但是霍家其他子弟却恰恰相反，大置宅邸，纵马于皇家内苑，玩乐不上朝，霍家子弟根本没有将国家的规章制度放在眼中，而霍光对此，选择了纵容。
汉朝乐府还有一句这样的词“依倚将军势，调笑酒家胡”，说的，就是霍光家那个名震天下的家奴冯子都。冯子都深得霍光和其夫人霍显的信任，所以平日里很多官吏都争相与之结交。冯子都也恃宠而骄，目中无人，行事铺张，甚至因为在大街上和御史中丞拌嘴，居然跑到中丞府逼其下跪道歉。家奴猖獗到侮辱朝廷命官，一时间，整个长安城哗然。
而此时的霍光依旧选择放任不管，但是霍光却忽略了一件事，那就是霍家子弟和家奴的专横跋扈，汉宣帝是不可不能不知道的。然而对于把整顿吏治和严肃律法放在首位的汉宣帝，却对此默不作声，这其实是非常可怕的事情，只是霍光没有察觉到。霍光去世后，在其妻霍显的操持下，葬礼的规格堪比帝王，这都被前来吊唁的汉宣帝看在眼里。
毒杀皇后，谋害太子
汉宣帝几乎是个完人，并且是个模范丈夫。在汉宣帝还是个叫刘病已的落魄平民时，遇到了自己的结发妻子许平君，二人恩爱有加，患难与共，并育有一子刘奭。汉宣帝对许平君可谓是用情至深，登基之后，群臣都上书要求立霍光之女霍成君为皇后。而宣帝只是说“朕有一把故剑流落民间，希望爱卿们帮着找回来”。而大臣们也知道这是宣帝没有忘记许平君，便顺从宣帝的意愿，请立许平君为皇后。
