刘弗陵继位登基之后，是为汉昭帝。这时的朝政大权都掌握在这四位辅政大臣手中，相当于四人分权共同治理天下。
后来金日磾去世，四人之间的权力平衡被打破，剩下的三位辅政大臣为了自己的政治利益，开始相互攻讦（jié）。最后，霍光成功地将上官桀和桑弘羊的家族灭门，自己总揽了朝政大权，成为了大汉王朝实际意义上的掌控者。
公元前74年，汉昭帝驾崩，由于他没有儿子，霍光就决定迎立汉武帝的孙子昌邑王刘贺继位。只不过刘贺这个皇帝当得时间非常短，仅27天，就被霍光给废掉，贬为庶人了。因此刘贺被称为汉废帝，是西汉王朝在位时间最短的皇帝。
霍光废掉刘贺之后，进一步地把持了朝政，可以说是一手遮天。这时候的霍光已经有了皇帝之实，而无皇帝之名，只差一步就能改朝换代。但是霍光没有，他既想当忠臣，又不想放弃权力。
