公元前68年霍光去世，在霍光死后的第二年，霍家毒杀许平君的之事东窗事发，霍成君毒杀太子一事也暴露。霍家人自知难逃一死，决定拼死一搏决定起兵造反，没想到此事泄露，霍家所有人都被诛杀，同年汉宣帝下诏：''说皇后失德，更是与其母亲一起想要谋害太子，无人母之恩，不能够在做为皇后了''被迁入上林苑昭台宫居住。
在十二年之后汉宣帝再度下令，让霍成君搬到比上林苑昭台宫环境更加冷清的云林馆，于是霍成君便自杀身亡。
在中国的历史上皇后的地位，可以说是与其家族的兴衰紧密的连接在一起，其家族的势力的衰落必定会导致皇后的地位一落千丈。霍成君可以说是一个活生生的列子，在其母系家族兴盛之时，汉宣帝可以说后宫独宠其一人，但是当霍氏家族衰败之后，霍成君便被打入冷宫自杀而死。
