霍去病是平阳侯府的女奴卫少儿与平阳县小吏霍仲孺的私生子，卫少儿是卫子夫的亲妹妹。所以说霍去病是卫青的外甥，卫青是霍去病的舅舅。
霍去病出生时，卫青这一家族凭借卫子夫深受宠爱，而得到了很好的发展。因此霍去病从小也没受过多少苦头，可以说是从小就享受到荣华富贵。
由于优越的生活条件，少时的霍去病就学会了骑射，而且还学得很好。霍去病也深受汉武帝的喜欢，还让他做了自己的近臣侍中，并亲自教授霍去病一些兵法。
从汉武帝对待霍去病来看，无疑他是在亲自培养霍去病。事实也证明了汉武帝的慧眼，霍去病也从没让汉武帝失望。西汉元朔六年（公元前123年），霍去病被汉武帝任命为票姚校尉，这年霍去病年仅17岁。
