此后李辅国气焰更加嚣张，他曾对代宗皇帝说："大家（指皇帝）但内里坐，外事听老奴处置。"意思是让代宗把军国大事都交给他，想模仿秦朝的赵高独霸朝政，终于引起了朝中众臣的公愤，也让唐代宗难以忍受（李辅国欺负李豫的爷爷李隆基就让李豫很不爽了），于是下决心除掉他。但因其势力太大，掌握军权，皇帝难以撼动。最终在另一大宦官程元振帮助下，李豫才解除了李辅国的一些职务，最后派刺客刺杀了他，并将他的头颅扔到了粪坑里。
唐代宗杀的第二个宦官即是程元振。说来也巧，李辅国是干掉大宦官高力士而称霸的；程元振也是干掉李辅国称霸的。宦官程元振对唐代宗也有拥立之功，也受皇帝宠信，但他处处受到李辅国的压制，因而产生了除掉李辅国取而代之的念头。当他窥见代宗已有除掉李辅国之心时，便不断地暗中向代宗控告李辅国的罪状。代宗是得到程元振的帮助，才最终扳倒了李辅国的。谁知，赶走一狼，有引来一虎。程元振的骄横跋扈丝毫不次于李辅国，很快又把持了朝中大权。
李辅国主要是在后宫作乱，而程元振则把手伸向了在前线出生入死的武将们。其实在李辅国下去之前，程元振已经开始嚣张了。像李辅国逼杀皇后等事件，也有程元振的份。后来安史之乱爆发，程元振开始瞄准武将们，先后数次献谗言攻击郭子仪等将领，使郭子仪屡罢兵权。安史之乱还没有结束，他便大开杀戒，杀死平叛名将来瑱，逼死李怀让。又威逼李光弼、仆固怀恩等，导致李光弼忧郁成疾而早逝，逼仆固怀恩叛唐。当时他还因个人私怨逼走朝中大臣裴冕。
程元振还有一大罪，差点让唐朝亡国。安史之乱刚结束，吐蕃人又大举东进反唐，自763年4月开始，吐蕃人连陷河西、陇右、兰州、秦州等地，唐军接连战败，边关告急！但把持朝纲的程元振却对前线战事充耳不闻，隐藏不报。直到敌军攻到关中，打到奉天，程元振才向代宗报告，然为时已晚。朝廷招各地节度使前来勤王，但包括李光弼在内的将领都不愿前来。因为程元振陷害了不少为国立功的名将，大家都忌惮他。结果朝廷再度起用被罢黜军权很久的郭子仪。郭子仪仓促之间召集不来人马，刚到咸阳，吐蕃军便逼近京师。眼看长安要破，代宗只得弃城而逃，出奔陕州。长安再次沦陷。
