当时匈奴人趁机反叛，霍去病率领少量骑兵驰入匈奴军中，当众斩杀叛乱者，从此无人再敢反叛。面对反叛危机，霍去病只率领少部分骑兵勇士，便敢长驱直入匈奴大营，历史上又有几人有如此胆识与魄力。此后，浑邪王率4万余众归降汉朝，汉朝得以控制河西地区，为打通西域道路奠定了基础。匈奴人失去河西地区，为此悲歌：
失我祁连山，使我六畜不蕃息；失我焉支山，使我嫁妇无颜色。
河西之战结束后，霍去病得到重赏，他还为汉朝攻下4座重镇，建立起完整的建制"河西四镇"。汉武帝为其分别取名为"武威郡"（为彰显大汉帝国的武功军威）、"张掖郡"、"酒泉郡"和"敦煌郡"，当年汉武帝在霍去病攻下4地后，加上敦煌以西的阳关和玉门关，分别为其取了4个霸气的名字，显示出大汉王朝的国威，史学家称其为"列四郡，据两关"。根据《汉书》中的记载，公元前104年，汉武帝设置酒泉郡和张掖郡，公元前101年设置武威郡，前88年设置敦煌郡。
