俗话说，人终有一死，当年事已高的霍光发现这个少年天子的厉害之处时，已经垂垂老矣，地节二年（前66年），霍光逝世后，汉宣帝刘询先是对霍光以臣子的最高礼节厚葬，之后连发三招，灭掉了霍氏满门，从而正式收回了大权。
第一步，明升暗降，收回朝政大权
霍光去世后，先是最高礼节下葬，然后又册封其子霍禹、霍云、霍山为侯，朝中大权仍在霍家手中，表现上看汉宣帝仍是傀儡，但随后汉宣帝又发了一道命令：朝中所有奏章，直接由尚书呈交皇帝。
这等于变相解除了霍禹朝政一把手的权力。
第二步：汉宣帝又封许广汉（许皇后的父亲）为侯，提拔自己的妻族、母族、祖母史家子弟，并以郎官身份宿卫皇宫。
