《旧唐书》：代宗即位，辅国与程元振有定策功，愈恣横。私奏曰："大家但内里坐，外事听老奴处置。"代宗怒其不逊，以方握禁军，不欲遽责。乃尊为尚父，政无巨细，皆委参决。
唐代宗登基后，对李辅国的飞扬跋扈很是不满，但考虑到李辅国掌握禁军，所以他才一忍再忍，后来实在无法忍受，唐代宗派人把李辅国给暗杀了。(堂堂一国之君，竟然只能派人去搞暗杀，不得不说这真的很悲哀)
李辅国死后，大太监程元振接替了李辅国的职位，同样也是权势滔天。公元764年，吐蕃见唐朝已经走入下坡路，就发起了对唐朝的侵略战争，并很快就攻入了长安城，代宗狼狈不堪的逃跑到了陕州地界，让人感到讽刺的是，最先赶来救驾的竟然不是一些正规军，而是宦官鱼朝恩所率领的神策军。
唐代宗大怒，借此机会把程元振给废了，但他依然重用宦官鱼朝恩，让他掌握禁军，同时还授予比李辅国等宦官更大的权力给鱼朝恩。
唐德宗时期宦官集团达到了最鼎盛时期
