关键是，他深得唐玄宗的信重，奏折要先经过他来处理，小事甚至就做主了。这可比后来被称为内相的翰林学士陆贽权利还要大。堪堪比得上后世的明朝大太监刘瑾了。
但是，姚崇曾经上疏《十事要说》提醒唐玄宗，"中官不预公事"！用咱们熟悉的话来说，就是后世皇帝们说的：太监不得干政！所以，宦官在唐玄宗前期还是比较老实的。
等名相们死的死，贬的贬，宦官们才慢慢骄横起来。甚至《资治通鉴》里记述，京城有一半的豪宅，都是太监们的。因为他们能够影响唐玄宗的决定，所以，大臣们纷纷巴结他们，宦官们收钱收的不亦乐乎。有了钱，当然就娶妻买豪宅了。高力士就娶了个美貌的妻子，还把妻族纷纷提拔为官。
本身高力士们就对禁军和王毛仲的崛起心里就不痛快，因为大臣们不止可以走他们的门路，还可以走禁军和王毛仲的门路，这就是在断他们的财路。
