霍去病北征匈奴时，路过平阳，认霍仲孺为父，然后把年仅10岁的弟弟霍光带到长安。
在霍去病的帮助下，霍光先任郎官，后迁任曹官、侍中、奉车都尉和光禄大夫等，深受汉武帝信任。
霍光老成持重，行事小心翼翼，如履薄冰，为官20余年，未尝有过错失，霍光每次在朝堂上所站立的位置都是固定的，有人偷偷观察，发现竟然可以做到一步不差。
《汉书·霍光传》记载："（霍光）每出入下殿门，止进有常处，郎仆射窃识视之，不失尺寸，其资性端正如此。"
汉武帝去世后，太子刘弗陵继位，即汉昭帝，霍光以大司马、大将军的身份成为辅政四大臣之一。
