哥舒翰为突骑施哥舒部落首领的后裔。四十岁才投身军旅。天宝五载（746年），王忠嗣兼任河西节度使，很快发现了哥舒翰，对他十分欣赏，提升他为牙将。后来吐蕃来犯，哥舒翰苦拔海迎击敌军。苦拔海一战，吐蕃军分成三队，从山上接连冲下，哥舒翰持半段枪迎着吐蕃军的兵锋攻打吐蕃军，把三队吐蕃军都打败了，无不摧靡，因此而知名。开始了军事生涯的起步。天宝六载（747年），哥舒翰被再次大败吐蕃的五千骑兵，哥舒翰在城中率领骁勇战士骑马攻击，将吐蕃骑兵几乎杀尽。
天宝八载（749年）六月，唐玄宗派哥舒翰率领唐军六万人进攻吐蕃据守的石堡城。但是，吐蕃人据险而守，唐军猛攻数日，仍然不能得手。哥舒翰命令唐军不惜一切代价，发起冲锋，死伤数万人之后，终于如期攻下了石堡城。唐玄宗十分高兴，哥舒翰被封为鸿胪员外卿。天宝十一载（752年），又加封开府仪同三司。天宝十二载（753年），哥舒翰再次击败吐蕃，攻占洪济、大漠门等城，占据九曲之地。哥舒翰因功兼任河西节度使，进封凉国公，食实封三百户，不久，进封西平郡王。次年，再拜为太子太保，加实封三百户，兼任御史大夫 。
天宝十四载（755年），安史之乱爆发。之后唐玄宗因为听信宦官诬陷，派人将唐军主帅封常清、高仙芝斩首示众。唐玄宗想命哥舒翰领军二十万，赴潼关拒敌。此时，郭子仪、李光弼在河北攻打叛将史思明，打了几个大胜仗，进展十分顺利，因此他们二人认为潼关只宜坚守，不可轻出，可以促使叛军内部溃散。但是，玄宗轻信杨国忠谗言，对郭、李良谋置之不理，便连续派遣中使催哥舒翰出战。哥舒翰被迫领兵出关，最终中计战败被俘。
至德二载（757年），安禄山儿子安庆绪大败之后，逃往邺城（今河南安阳市）固守，临行前，将哥舒翰等三十余名被俘唐将全部杀害，哥舒翰一代名将，死得如此窝囊。唐朝廷没有忘记哥舒翰以往开疆拓土的功劳，追赠太尉，谥号"武愍"。
