但是随着桑弘羊、金日磾去世以后，霍光一个人独掌朝政，汉昭帝也身不由己，当时上官桀与霍光家族交好，但是为了加大在朝中的声望，于是让自己的女儿上官氏嫁给汉昭帝成为皇后，虽然霍光反对，但是此事木已成舟，随着上官桀因为被卷入谋反案中失势，上官氏作为皇后在宫中更加显得孤立。
随着汉昭帝去世以后，昌邑王刘贺被霍光迎立为皇帝，但是仅仅几天的时间就被废黜，而且废掉刘贺的旨意还是以上官皇太后的旨意发出的，而继任皇位的则是汉武帝孙子刘病已，也就是后来的汉宣帝刘询，为了将皇帝绑在自己的战车上，当时霍光将自己的女儿霍成君嫁给了刘病已成为皇后。
