卫氏家族也随之显贵，其母卫少儿因而得以嫁给西汉开国功臣陈平的曾孙、时任詹事一职的陈掌，霍去病的舅舅卫长君、卫青也随即晋为侍中。其后，在对匈奴的作战中，原为公主"骑奴"的卫青军事才能大显，先是出上谷直捣龙城，斩敌700人，又屡屡击败敌军，战绩卓然，深受汉武帝信赖。霍去病在舅舅的影响下，自幼精于骑射，常怀报国之心。
元朔六年（前123年）漠南之战，未满18岁的霍去病主动请缨，武帝封他为骠姚校尉随军出征。第一次披甲执锐的霍去病，凭着满腔骁勇血气及800子弟骑兵，在茫茫大漠奔驰数百里搜寻敌人踪迹，此独创的兵法"长途奔袭"首战便告捷，斩敌2000余人，匈奴单于的两个叔父一个毙命一个被生擒。
汉武帝闻之大喜，当下封他为"冠军侯"，赞其勇冠三军。元狩二年（前121年）夏天，19岁的霍去病展开收复整个河西之战，而此时的他凭借之前"河西大捷"之功，已然跃升为汉军统帅，与匈奴抗衡多年的名将李广等部也成为他的策应部队。
战中，霍去病再次孤军深入，率部在祁连山斩敌3万余人，俘虏匈奴王爷5人，大小阏氏、王子59人，相国、将军、当户、都尉共计63人。经此一役，汉王朝终于收复了河西平原。同年秋天，霍去病受降背叛匈奴单于的浑邪王和休屠王，不料降军发生哗变，他竟只带数名亲兵以身犯险，在匈奴营中直面浑邪王，令其格杀哗变士卒，凭一己之力便镇住了4万多鼓噪的匈奴士兵，其人胆大如此，这也是中国历史上第一次接受外虏的受降。
元狩四年（前119年）的"漠北大战"成为霍去病戎马生涯的巅峰之作，他本拟单挑匈奴首领单于，却因情报错误而碰上了左贤王部。
