他进入了河西节度使军队之中从军，很快就崭露头角。天宝元年(公元724年)就开始手握三军，且治军有方。四年后，新上任的节度使王忠嗣也见到了哥舒翰的才能，惜才的他开始提拔哥舒翰。哥舒翰自小就熟读史书，明白知恩报恩的意义，自此也十分尊重王忠嗣。
在天宝六载(公元747年)，王忠嗣几次拒绝玄宗令其非常不满，又有官员趁此机会诬陷王忠嗣。玄宗当机大怒直接下令抓捕王忠嗣。哥舒翰明白王忠嗣是被冤枉的，于是仅带了一个小包裹就前往长安入朝见玄宗求情。
玄宗见到哥舒翰十分的喜爱，也与其聊得十分投契。直言就让哥舒翰取代了王忠嗣节度使的位置，可是听到此话王忠嗣无罪的话就直接从哥舒翰的嘴中说出。玄宗不听，哥舒翰就声泪俱下地叩头跟进，嘴中跟着喊道王忠嗣无罪。见到赤忱的哥舒翰，玄宗终于高抬贵手放了王忠嗣一命，仅贬为太守。
