会议于是奇迹般地达成了一致，密谋发动政变，步骤如下：杀丞相--废宣帝--立新皇(霍禹)。
然而，计划赶不上变化。就在霍家磨刀霍霍时，因为保密工作做得不好，计划泄露了。谋反的消息很快就被霍家一个马夫的朋友张章知道了。这个张章本来是来"叙旧"的，听到这样的消息，先是被惊得目瞪口呆，接着拔腿就以百米冲刺的速度往皇宫里跑。
结果可想而知，霍氏家族的谋反还没来得及付诸行动，汉宣帝的"镇压军"就到了，结果以迅雷不及掩耳之势把霍家围得水泄不通，打出的口号是"杀无赦"。自知难逃厄运的霍禹和霍显相继以自刎的方式结束了自己的生命。而霍氏家族的"中流砥柱"霍禹和霍显死后，意味着霍家已是一群乌合之众了。汉宣帝手中高举多年的"屠龙刀"丝毫没有留情，对霍氏家族无论男女老少，一律格杀勿论。
诛灭霍氏家族后，霍皇后成了唯一"幸存者"，汉宣帝没有直接砍了她的头，而是以"失德罪"把这位年仅二十三岁的皇后打入了冰冷的昭台宫。从此，庭院深深深几许，霍家千金独自悲。直到十二年后，霍皇后终于盼来了汉宣帝，然而，汉宣帝不是来赦免她的，而是把她打入了更阴森恐怖的"云林馆"去独居。至此，霍皇后最后的希望落空，绝望之余，在一个凄风凄雨的夜里，她以一块白绢吊死在"云林馆"。
至此，霍光一手打造的风光无比的霍氏家族，只因为他错爱了一个不该爱的"大无畏"的女人霍显，落得子孙绝灭的凄惨下场。这正应了一句话：盛极必衰。
