汉宣帝从不反驳霍光的任何条陈，凡事他都先听大将军霍光的意见。皇后之死，刘询虽不清楚具体情况，但是他知道，这是霍家势力作用的结果，刘询忍了，接下来，霍成君进宫，被册立为皇后。霍家的权势、荣耀一时成了无可撼动的存在。
否极泰来，反之亦然。仅仅两年多的时间，公元前68年4月，大司马大将军霍光去世。刘询给予了他崇高的死后哀荣。汉宣帝与上官太后一同亲到治丧现场，将其比之开国明相萧何，以皇帝级别葬于茂陵。霍光下葬，有玉衣、梓宫、便房、黄肠题凑只有皇帝王室才能享用的葬具。
料理完霍光的后事，刘询开启了他清算霍家的路，他将自己的亲信安排在重要位置上，将权力逐渐收归在自己手中，将霍光在朝中各重要岗位的儿子、侄子、女婿一一外派，任命到无关紧要又远离中枢的位置上。霍家子弟惶惶不可终日，他们想回到旧日的辐辏的时光，于是想挺而走险，造反继而废了皇帝。
逼霍家造反，也许正是汉宣帝想要的结果，当霍家谋反败露，汉宣帝一举灭了霍家：霍光的儿子霍禹和霍光的夫人被腰斩弃市，霍云、霍山自杀，其侄、婿等要么被杀要么自杀，霍家被灭门，受牵连者达几千人。霍成君被废，12年后自杀了结。霍家之祸并没有波及霍光本人，他仍然陪葬茂陵，甚至到了公元前51年，汉宣帝置功臣像于麒麟阁，将霍光列第一位。这个举动再次证明了汉宣帝的帝王之谋略：灭霍家并不为复仇，不过公事公办，一码归一码。其实，他对霍光的态度，尤其是对霍成君的冷暴力，已经证明了，他对霍家的态度，就是刘询为报妻仇的清算。
当年，许平君临死涕别刘询："你要保护好我们的儿子，千万让他别为歹人所害。"刘洵答应说："你尽管放心，奭儿的安危我一定计议周全。"
在许平君眼中，刘询不光是皇帝，更是丈夫，她临死放心不下丈夫和儿子，泪流不止。嘱咐刘询要积累自己的力量，才能做到自己想要做的事。刘询同样悲痛万分，几欲随了许平君而去。刘询做为汉朝的一个有为开明的帝王，历史不会记载他的悲伤和脆弱，但许平君的死给他带来无可弥补的创伤。他接下来十余年岁月里的许多行为都证明了这一点，他从来都没有忘记过痛苦，他从来都明白敌人是谁，甚至如何对付他们，他都计划的清清楚楚，他沿着自己的路线走下去，于公为了大汉的天下，于私为了自己的爱情。
