霍光又在汉武帝的子孙之中找了戾太子刘据的孙子刘询继承皇位，因为当初戾太子被处死后，到了刘询这一代已经毫无根基了，便于霍光控制。所以刘询当上皇帝后，上官氏仍然是皇太后。
刘询当上皇帝后，为了巩固自己的地位，方方面面都听霍光，这让霍光对这个新皇帝很满意。但等到霍光去世后，时代就发生了改变，刘询就对霍家下手了。他先是解除了霍光儿子霍禹的兵权，随后又将霍氏子弟逐步调离中央。霍禹看到霍家地位一日不如一日，就密谋造反，不过最终以失败而告终，霍家也惨遭灭门。
上官氏在经历父系跟母系相继败亡的命运后，虽说失去了家族的依靠，但刘询并没有为难她，她在后宫之中生活依旧跟往日一样。上官氏自己也深居后宫，谨言慎行，不问政事。上官氏一直活到汉元帝时期，寿终正寝，时年五十二岁。
纵观上官氏的一生，她六岁的时候，就被当作政治的筹码送进宫中。虽贵为皇后，却得不到皇帝的宠爱，后又经历丧夫之痛，又目睹父系跟母系的败亡，看着亲人一个一个离她而去，而她作为一个弱女子却又无能为力，这其中的爱恨情仇，只有她自己才知道。
