后来，汉武帝废掉陈皇后，改立卫子夫为皇后，同时册封刘据为皇太子。正所谓"一人得道鸡犬升天"，卫子夫当了皇后，卫家自然也就跟着富贵了。这时再也没有人，敢嘲笑霍去病是个私生子了。
卫子夫得宠后，又向汉武帝举荐了弟弟卫青。汉武帝也认为卫青很有本事，便让他担任侍中一职。匈奴来犯时，汉武帝便任命卫青为骠骑将军，去迎击匈奴。结果卫青大获全胜，被封为关内侯。
这时霍去病才只有十一岁，他见舅舅在战场上英勇杀敌，心中充满了敬佩，也想向舅舅学习。于是卫青每次打仗回来，都会与霍去病分享战事，并且教授他一些兵法。
久而久之，霍去病对于兵法和骑射都很熟悉了，就差跟随舅舅一同上战场杀敌。汉武帝得知卫青有个外甥，和他一样精通兵法，便又让霍去病做了侍中，跟随自己左右。
