因为上官氏当上了皇后，上官家的人权势更重，也更加目中无人，骄奢淫逸。同时上官家族为了回报鄂邑公主的恩德，就想将其情夫丁外人封列侯和光禄大夫，但是遭到霍光的强烈反对，并且霍光还多次阻止上官家族其他亲戚封官。于是乎，上官家族与霍光之间水火不容。
上官家族多次在刘弗陵面前进献谗言，想要扳倒霍光，奈何刘弗陵一直比较信任霍光，这条路是走不通的。后来上官家族联合鄂邑公主企图发动政变除掉霍光，并且废黜刘弗陵，改立燕王刘旦为帝。但是因为计划泄露，所有参与的人，全部被诛杀，上官家族也被灭了族。而上官皇后因为没有参与这场政变，加上她是霍光的外孙女，所以存活了下来。
霍光同样也是为了自己家族的显赫，也同样重视上官氏，希望上官氏能为刘弗陵生下太子，但是霍光平日里太过专权，并且霍光还想尽一切方法让刘弗陵不能临幸其他妃子。为了防止霍家的权势过于庞大，刘弗陵到死也没有碰过上官氏。也同样因为霍光所给的压力太大，刘弗陵忧郁成疾，年纪轻轻就离开了人世，因为没有碰过上官氏，也没有机会宠幸其他妃子，所以刘弗陵就绝了后。
但是国不可一日无君，在刘弗陵过世之后，霍光便主持大局，召集百官，将汉武帝的孙子昌邑王刘贺过继给刘弗陵，并且立他为皇太子，随后就拥立其为帝，上官氏也被尊为皇太后。但是刘贺因为处处跟霍光对着干，不利于控制，所以刘贺当了27天的皇帝，就被霍光废黜。
