这期间，霍光表现尚可，但是，汉宣帝却觉得他如"芒刺在背"，已经有了矛盾，而且，霍光的家人飞扬跋扈，霍光的夫人霍显为了让自己的女儿霍成君成为皇后，竟然毒死了汉宣帝的结发之妻许皇后。后来，霍光病死，汉宣帝和太皇太后上官氏亲临祭奠，用了极高的礼节。
但是，霍光的家族却在汉宣帝的打击下也遭到了灭门的厄运，上官氏的母系也绝了。因为上官氏不问朝政，在长乐宫中一直自在的活着，最终，在守寡近40年后去世，享年52岁，并和昭帝合葬在平陵。
参考资料：
【《汉书·昭帝本纪第八》、《汉书·外戚传》、《汉书·霍光金日磾传第三十八》】
