霍去病是舅舅卫青一手带大的，他们情同父子；卫青当时是抗击匈奴的大司马，所以和卫青也有间接的关系。在公元前128年时候，匈奴入侵中原，汉武帝派卫青前去阻击，他大败匈奴，收复河南地，最重要的是彻底的消灭了一支叫楼烦的蛮族部落。这在《史记·卫将军骠骑列传》中详细的记载："元朔元年（公元前128年）…青为车骑将军…遂略河南地，捕首虏数千…走白羊，楼烦王…封青为长平侯"。所以卫青当时就在楼烦部落缴获了大量的战利品，以及数千的俘虏，其中也许就包括楼烦部落的"骑射秘籍"。
因为楼烦王不仅是当时楼烦部落的首领，而且还是"善骑射"的代名词！在《史记·樊郦滕灌列传》中记载："裴骃集解引李奇曰:''其人善骑射，故以名射士为'楼烦'，取其美称，未必楼烦人也"，所以可见当时善于骑射的人都以"楼烦"作为自己的美称，那么楼烦到底是什么呢？楼烦是起源于春秋时期的北方蛮族，精于骑射。我们所熟悉的典故"胡服骑射"，说的就是赵武灵王向楼烦国学习骑射，后来一举成为北方强国。另外在楚汉争霸之时，连连射杀项羽手下三员大将的就是楼烦人，这一点在《史记·项羽本纪》中也有记载:"汉有善骑者楼烦，楚挑战三合，楼烦辄射杀之"。
而最后彻底灭掉楼烦国的就是卫青，当时他还俘虏了数千人。这些楼烦国的俘虏后来就在中原定居，不排除其中存在与卫青交好的人，感念他的不杀之恩嘛！后来霍去病出生之后，这些楼烦人就一同教霍去病学习骑射；另外霍去病本身也十分勤奋和聪慧，为了能尽早的报效国家，他日夜苦练，于是很快就掌握骑射的精髓，以至于成为史书中所记载的"善骑射"者。
霍去病除了自己本事了得之外，他还打造了一支十分先进的"兵团"。
