霍光是西汉名将霍去病的异母弟，霍去病虽说是私生子，但霍家的兴盛却是因他而起，霍光十多岁时，已屡立战功、拜骠骑将军之职的霍去病与霍家相认，自此霍家鸡犬升天。
而在霍去病的帮助下，霍光相先任郎官，随后迁任各曹官、侍中等，霍去病去世后，霍光升任奉车都尉、光禄大夫等职位，很得汉武帝的信任，权势也就步步提高，而汉武帝临终前，又明确指定霍光为大司马、大将军，与金日磾、上官桀、桑弘羊一同辅佐幼主，也就是汉昭帝刘弗陵。
值得一提的是，霍光与金日磾、上官桀两位辅政大臣是有联姻关系，上官桀的儿子上官安娶的便是霍光的长女，上官安野心勃勃，看着汉昭帝年幼，尚未立后，因此想让自己的女儿上官凤儿入主后宫。
但霍光拒绝了，因为上官凤儿此时还只有6岁，可上官安并没有就此作罢，他找上了抚养汉昭帝的鄂邑长公主的情夫，一顿骚操作后，年幼的上官婉儿便进了后宫，成为了历史上年龄最小的皇后。
不过汉昭帝虽然年幼，但人还是很聪明，并且对霍光十分信任，上官桀父子后来联合鄂邑长公主等人设计诛杀霍光，14岁的汉昭帝却对霍光说："如果你要调动所属兵力，时间用不了十天，燕王刘旦远在外地，怎么能够知道呢！况且，你如果真的要推翻我，也无须如此大动干戈！"
