汉宣帝即位后，霍光曾想把大权交还皇上，但宣帝没有接受，所以朝廷事务的决策权，仍然是先由霍光过问再禀报皇帝。因为此时宣帝刚刚登基不久啊。
随着时间的推移，宣帝的地位逐步稳固，他表面上很信任霍光，但内心却逐渐十分忌惮他了，这是因为霍光后期权力欲开始膨胀，如将自己的亲信、亲属安排到重要岗位等，让宣帝觉得其功高盖主了。
还有关于宣帝皇后之争，也给后来霍光结局不好留下祸根。事件是这样的，在汉宣帝即位后，他没有依照群臣们的提议立霍光之女霍成君为皇后，而是委婉的以寻故剑的名义，表示要立自己的原配妻子许平君为皇后。霍光当时并没有反对，但他以许皇后父亲许广汉受过宫刑的缘故，反对汉宣帝依照汉朝惯例（皇后的父亲必须有侯位）封后父为列侯。
霍光的继室对女儿没有成为皇后不满，趁许皇后生产的机会买通医生淳于衍，毒死了许皇后。许皇后死后，追究医生责任，淳于衍被下狱受审，后因害怕而向霍光坦白了此事。霍光惊骇之余，想要追究继室显的责任，但最终还是碍于夫妻情分替她掩盖了过去。霍成君最终被立为皇后。经过此事汉宣帝对霍光专权又加深了印象。
