元狩六年，一代名将霍去病最终没有逃出疾病的厄运，年仅二十四岁就去世了。他一生四击匈奴，攻下河西，封狼居胥，成为战史一代神话。霍将军死后，却又给大汉贡献了一位出色的弟弟。
当初，霍去病的父亲霍仲孺在平阳公主家与卫少儿私通，生下了霍去病。霍仲孺后来娶妻生下了霍光。直到霍去病二十岁出征河西的时候，才与霍仲孺父子相认。等到霍去病凯旋归来时，顺道带走了弟弟霍光。
霍去病生前，就带着弟弟一路做到了侍中。侍中其实是汉武帝内朝的官员，直接接受汉武帝的指挥，算是他的助手。卫青、公孙敖都担任过此职。霍去病去世后，汉武帝痛心不已，于是更加看重霍光。随后升任奉车都尉、光禄大夫。
霍光在此后的二十余年里，忠诚勤谨，未曾犯过一次错误。在后来的巫蛊之祸中，卫氏一脉被诛杀殆尽，株连达数万人，以卫氏亲族出身的霍光没有被波及，可见汉武帝对其信任之深。
