躲过了匈奴的眼线。他在路上遇到了隶属于匈奴的5个小部落王国,归附西汉者赦之,拒战者诛之。
西汉军队遇上浑邪、休屠二王后,两军经过激战,打败了二王。霍去病引兵而回,军队到达皋兰山下时,遭到匈奴折兰王和卢侯王的阻击。在霍去病的指挥下,汉军杀掉了敌军的首领,胜利回师。初战告捷,汉武帝很高兴,同时给了他打败匈奴的信心。于是汉武帝决定趁河西匈奴折兰王和卢侯王的阻击时,再次发动攻击。
同年夏天,汉武帝命合骑侯公孙敖和霍去病一起率领数万骑,兵分两路进攻河西,张骞和李广率兵攻打左贤王。霍去病采用了之前攻打匈奴的战术,率领骑兵大纵深迂回,由侧后进击的突袭战术,效果非常不错,让匈奴右贤王部受到歼灭性的打击。霍去病先后俘虏了匈奴6500人,斩杀了3万多人。