李辅国、鱼朝恩等权阉的相继被铲除，使元载掌握了很大的权势，加上皇帝的信任，使其自认为才兼文武，肆无忌惮地扩张权势，培植个人势力，排挤正人。中书主书卓英倩、李待荣不过小吏而已，可是由于元载的信任，竟然专横跋扈，玩弄权柄，各级官员办事如不谒见卓、李二人则一事无成。元载的妻子、子弟也都凭借其权势干预公事，接受贿赂。元载还善于敛财，在长安城中有两处豪宅，宽畅豪华，为当时之最。在长安近郊，元载还兴建有楼台观榭，也是极其精致豪华。《新唐书·元载传》说：他"膏腴别墅，疆畛相望，且数十区。名姝异技，虽禁中不逮"。
元载贪污受贿，家中积累的财富不计其数，后来抄其家时，竟然搜得钟乳五百两、胡椒八百石，其他财物不计其数。胡椒不产于中国，大都来自于域外，一两胡椒都价值不菲，何况八百石呢？史官之所以特意将钟乳、胡椒写进史书中，目的就在于通过这些物品的记述，来表明元载聚敛的财富之巨大。
元载还结党营私，其党徒主要有吏部侍郎杨炎、谏议大夫韩洄、包信、吏部侍郎徐皓、薛邕、侍中王绍、太常卿杜鸿渐、大理少卿裴冀、太常少卿王纪以及大臣王昂、王定、宋晦、徐缤等"凡数十百人"。凡敢于反对或纠弹元载的官员，元载则予以残酷的打击。如一个叫顾砾的言官向皇帝奏告元载的儿子元伯和欺压百姓，元载不仅没有被治罪，顾砾反倒受到严厉惩处。再如大历六年（771 ），另一个叫李少良的言官秘密向皇帝奏报元载的恶行，元载知道后面奏代宗，竟将李少良等密告他的几个人全都乱棒打死。自此，再也没有人敢公开议论元载的劣迹，就连路上的行人，为了不被怀疑私下议论朝政而受到迫害，即使遇到熟人也不敢打招呼，只能以目示意。
元载前后任宰相十多年，朝中党羽甚多，聚敛财富无数，搞得怨声载道。对于元载的恶行代宗也略有所闻，遂召其入宫进行告诫，无奈元载不听。在这种情况下，代宗遂决定铲除元载。大历十二年(777）三月，代宗命左金吾卫大将军吴凑逮捕了元载和另一宰相王缙，关押在政事堂，命令吏部尚书刘晏审理此案。同时逮捕的还有其亲信党羽以及几个儿子，刘晏认为元载党羽甚多，遂奏请增派他官共同审理。代宗遂令御史大夫李涵、右散骑常侍萧昕、兵部侍郎袁傪、礼部侍郎常衮、谏议大夫杜亚共同审理。经过审理，元载等对其所犯罪行供认不讳，遂下诏将其赐死，其妻及三个儿子也同时被处死，宦官董秀亦被处死，元载党羽或杀或贬，比较彻底地铲除了这一祸国殃民的集团。
