霍去病和他的舅舅卫青一样，同样拥有一个不光彩的出身，因为他也是一个私生子。他是卫少儿（卫青与卫子夫的姐姐）与平阳小吏霍仲孺的私生子，当时的卫少儿，卫青，卫子夫等都在平阳公主家当下人，霍仲孺正好也在那时到平阳府当差，就这样，有了霍去病。霍仲孺后来回了平阳县，与卫少儿失去了联系，卫青也一直不知道自己的父亲是谁。可见西汉的时候，社会风气还是相当的开放啊。
霍去病二岁时，卫子夫被汉武帝看上，然后得宠于汉武帝。于是，霍去病因此而沾光，成了上流社会的一员。
而后来，随着卫青抗击匈奴被封侯，卫家的势力更加的强大，霍去病因此也得以接受良好的学习与锻炼机会。
霍去病善骑射，稍大一些，开始进入皇家卫队，当侍卫，汉武帝很喜欢霍去病，要找人教他兵法，可霍去病却说："为将须随时运谋，何必拘泥于兵法" 汉武帝对他很是欣赏，因此经常找名师和他交流，也就是说，在兵法上，虽然没有得到系统的学习，但是霍去病天资聪颖，通过和人交流，还是获益良多。
此时的汉朝，汉武帝乘三代之势，决心要在他一朝，彻底解决匈奴问题。之前的卫青，已经和匈奴多次交战，并有所斩获。就这样，乘着卫青与卫子夫的势，就着汉武帝对他的喜爱，霍去病这个第一战神进入了自己的表演时刻。
