霍仲孺最早只是平阳县的一个小官，在平阳侯家，跟卫青的姐姐卫少私通，生下了霍去病。所以，霍去病是卫青的外甥无疑了。由于这层关系，霍去病十八岁当了侍中，精通骑马射箭之术。第二次跟随卫青攻打匈奴时，率八百轻骑深入大漠数百里寻找战机，斩杀俘获匈奴两千余人，生擒匈奴相国、当户，杀死匈奴单于祖辈，活捉单于叔父，勇冠全军，于是汉武帝封他为冠军侯。
汉武帝元狩二年，即公元前121年三月：
霍去病为票骑将军，将万骑出陇西，击匈奴，历五王国，转战六日，过焉支山千余里，杀折兰王，斩卢侯王，执浑邪王子及相国、都尉，获首虏八千九百余级，收休屠王祭天金人。诏益封去病二千户。
霍去病亲率骑兵一万出击匈奴，经过五个王国，转战六天，越过焉支出一千余里，杀匈奴折兰王，斩卢侯王，俘获浑邪王的王子及相国、都尉，其斩首俘获匈奴军士八千九百余人，并夺得休屠王用以祭祀上天的金人。为此，汉武帝下诏书增加霍去病食邑二千户。
