因其从小精通多种少数民族语言，因而初在幽州担任通译谋生，后因盗窃之事获罪，却又阴差阳错的投到了范阳节度使张守珪麾下，不仅因功升任张守珪副手，还被他收为了义子。
正所谓"非我族类，其心必异"，唐朝最初虽然任用胡将，但却"不专大将之任，皆以大臣为使以制之"，即坚决杜绝胡将独自掌兵，且必须以汉人对其进行节制。然而，由于朝中的一场变故，却使得安禄山等胡将掌兵成为了可能。
彼时，作为宰相的李林甫早已是大权在握，然而由于唐玄宗志在四方，因而边镇将领权力日益增大，甚至已经威胁到了宰相的程度。与此同时，边镇将领"功名著者往往入为宰相"，郭元振、张嘉贞、张说、萧嵩、李适之等都是以边将身份直接跻身宰相之列，再加上李适之入朝之后与李林甫激烈争权，使得李林甫对此甚为忌惮。
因此，在扳倒李适之之后，李林甫为了杜绝出将入相的根源，从而稳固自己的相权。便于天宝十一年(752年)，不仅辞去了兼任的朔方节度使之职，举荐安思顺继任，并且上书唐玄宗，说道"文臣为将，怯于战阵，不如用寒族、蕃人。蕃人骁勇善战，而寒族在朝中没有党援"，意思是不应该以文官节制武将，且应该大肆提拔寒族、蕃人。
