愧疚、悔恨、自责，种种痛苦的心境涌上心头，他放声大哭一场，在群臣的反对面前，违背祖制，将发妻迁往杜县下葬——那是他们还是一对民间夫妻时常常游玩的地方。
然而，形势逼人，不容他过分表达哀伤，不得不收起眼泪，继续忍辱含垢，笑着面对霍光，同时立霍成君为皇后。十分奇特的是，霍成君一直没有生育。
公元前68年，霍光去世，为这一天，刘病已整整等待了6年。他清楚地知道，霍家唯一的支柱就是霍光，其他如霍云、霍山之辈，无非是纨绔子弟。
刘病已循序渐进地开始了行动。首先，给霍光以接近皇帝的礼仪厚葬，并给霍氏大加封爵，麻痹他们的同时开始明升暗降。他将霍云、霍山的军职剥夺，然后给以尚书的职位。尚书的职责是在皇帝察看奏章之前先行处置，刘病已却下令臣民们可以不通过尚书直接向自己秘密上奏，等于架空了二人。
随后，他又将霍光那些手握兵权的女婿们调离出京，担任地方官，同时将宫中和京城的守卫职责全部交到了自己人的手上。
霍家虽然很不满，但是也没有太出格的举动。然而，渐渐的京城中议论四起，霍家害死许皇后的言论传播开来。霍显十分惊慌，将事情真相告诉了霍云、霍山。他们听到之后，终于明白了刘病已一系列行动的真正目的——如若没有这件事，霍家或许还可以退出朝政，保全富贵。事已至此，他们明白已经无路可退，只有鱼死网破了。
霍云、霍山开始秘密联系京外的小舅子和姐夫，准备起事，但事情很快败露。
刘病已等待的就是这一天！他迅速地先发制人，霍氏一族统统被抓，然后族灭，霍皇后也随之被废。
非常难能可贵的是，这个功过分明的君王在后来的麒麟阁十一功臣的名单中，仍然将霍光位列第一。他说，霍氏虽然谋反，但是霍光对大汉的功勋也不应抹杀。
