有了第一次河西之战的锻炼，汉武帝对霍去病比较放心了。所以，这次汉武帝派霍去病与公孙敖合作，率领数万骑兵，从北地出兵，分道进军向西进击。
由于公孙敖所部迷了路，霍去病在约定地点没有等到他们，就独自率部进击，他采用大纵深、大迂回战术，他渡过黄河，越过贺兰山，涉过腾格里沙漠和巴丹吉林沙漠，绕道居延海，转而由北向南，深入匈奴境内2000余里，突然出现在匈奴的背后，发起袭击。
此战，霍去病再次歼灭敌人3万余人，汉军仅伤亡3千余人。
两次河西之战，让19岁的霍去病威震西域。从此，西汉帝国牢牢控制了河西地区，为打通了西域道路奠定基础。匈奴则失去了祁连山这一天然屏障，悲歌："失我祁连山，使我六畜不蕃息；失我焉支山，使我嫁妇无颜色。"
