两年后，他被任命为骠骑将军，同年率军出击占据河西地区的浑邪王、休屠王部，歼敌4万余人，这次他直接俘获了匈奴王在内的匈奴贵族百余人，河西地区此后成为汉朝的控制地区。
汉武帝刘彻对讨伐匈奴有着很大的决心，汉武帝任命卫青和二十二岁的霍去病率军深入漠北，讨伐匈奴，其中霍去病直接带着军队直袭匈奴左贤王部，歼敌七万余人，乘胜追击直到狼居胥山，一直以来嚣张猖狂的匈奴被汉军彻底整治，匈奴单于逃到漠北，原本居于漠南的匈奴王族远遁。
汉王朝在此一战中打响了名声，边境地区再无挑衅惹事的异族。而这一切离不了卫青和霍去病的功劳，大将军卫青、骠骑将军霍去病皆加官为大司马。
可就这么英勇的将领在23岁的时候突然暴毙而亡？对于霍去病的死，同时期的司马迁只是简单地写了一个"卒"字，而对他的死因却只字未提。这不禁让人质疑，23岁的霍去病正值青春年少，为何说没就没了？所以历代对他的死不乏各种推测，大致分为两类：染瘟疫而死、成为政治牺牲品。
