谁知霍仲孺知道后，却面露难色，他并不想让人知道他们的关系，也不愿承认这个孩子。更过分的是，霍仲孺竟然向平阳侯辞行，回到了平阳县，甚至在这里另外娶妻生子。这位妻子生下的就是霍光。虽说霍仲孺没有迎娶卫少儿，但从时间上看，卫少儿才是他第一个女人。
卫少儿被抛弃后，还是选择将霍去病生下来，尽管一个人带孩子很辛苦，好在卫少儿坚持了下来。后来，卫少儿又与陈平的曾孙陈掌有了私情。不久卫子夫得到汉武帝的宠爱，卫少儿身为其姐姐，也就得到很好的待遇。
汉武帝给了卫家很多赏赐，知道卫少儿与陈掌有私情后，汉武帝便让二人成亲，并提拔了陈掌。霍去病身为卫子夫的外甥，也就荣升外戚家族的一员，过起了上流社会的生活。
由于受到舅舅卫青的影响，霍去病从小就"善骑射"，于是汉武帝决定重用他。在霍去病17岁的时候，就得以与舅舅卫青上战场了。在战场上，霍去病英勇无畏，立下大功，回去后便被封为冠军侯。
