只可惜，汉宣帝算准了霍家的谋划，于地节三年(公元前67年)，宣立已故许皇后之子刘奭为皇太子。
由此，失掉最后一根救命稻草的霍氏家族彻底疯狂了。
霍显先是授意自己的女儿皇后霍成君设法毒杀皇太子刘奭，见皇太子刘奭早有防范，她便谋划起了更疯狂的阴谋。
微妙的是，恰在这时，霍显当年毒杀许皇后的恶事开始在宫中若隐若现地传开，汉宣帝以此为契机，果断采取了一个釜底抽薪的措施：撤去霍禹的右将军屯兵官属，仅保留一个名义上与父亲霍光相同的官名：大司马，但霍禹的这个大司马只戴小冠，不佩印绶，实际只是个空衔。
以此同时，霍氏家族中原来掌控警卫京城、皇宫禁卫力量的那些人，统统被收回兵权，或改任闲职，或调离京城。
这时候，自知已被逼入死角的霍氏家族，终于失去了最后一点清醒与理智，他们竟异想天开地认为，废杀汉宣帝是霍家的唯一出路。
就这样，疯狂找死的阴谋，在四处漏风的密室里谋划实施起来。
霍氏家族想干什么呢?
以上官太后(霍光外孙女)的名义，设宴宴请丞相魏相等诸大臣参加，席间"承太后制斩之，因废天子而立禹。"
有史家评论说，在西汉两百余年多起谋反案中，霍家这一回最为低劣，既没有像样的谋略，也没有像样的檄文，甚至连一句像样的口号都没有。更可悲的是，谋反的核心人物霍显只是个刁泼恶妇，而霍光的那些个子孙，无一例外全是无能之辈。
地节四年(公元前66年)，谋反阴谋，因泄密，霍家就被汉宣帝连锅端了。
霍云、霍山皆自杀，霍禹腰斩，霍显以及诸女婿，包括当初毒杀许皇后的女医淳于衍，全部弃市。
汉宣帝不算残暴之君，但在诛杀霍家一事上异常严苛，"与霍氏相连坐诛灭者，数千家。"
