元狩二年（公元前121年）春，刘彻任命年仅二十岁的霍去病为骠骑将军，这次刘彻给了霍去病一次独当一面的机会，让他率军一万从陇西出发出击匈奴。
霍去病仍然采用他之前敢拼敢打的作战风格，他率军越过匈奴人平时放羊的焉支山，转战六日，在皋兰山下重创匈奴，杀敌近九千，其中包括好几名匈奴王，这次收获超过了他的首次出征，刘彻大喜加封霍去病二千户食邑。
同年夏天，刘彻调集大量军队让霍去病率领出击匈奴，同时派张骞、李广、公孙敖随军出征，张骞和公孙敖都相续迟到，误了会合的期限，而李广遇到匈奴主力损失惨重。
只有霍去病立了功，他率军跨越居延水，经过小月氏，来到祁连山，活捉酋涂王，降服匈奴两千五百多人，歼敌三万多人，俘虏匈奴五位名王、五个王母，单于的太太，五十九个王子，以及相国，将军、当户、都尉等六十三人。
