但是当元载感受过了权力握在手心中的感觉后，便走上了独揽朝政，排除异己，专权跋扈，又专营私产，大兴土木的道路，家中甚至还养了数百个奴婢，最终被唐代宗嫌恶。唐代宗依照以前对待权臣的方式，寻了个缘由将其杀害。
令唐代宗没想到的是，其命人对元载进行抄家之时，却有重大的发现，在元载家中抄出了八百石的胡椒。倘若搁在现在，这或许并不是十分值钱的东西，但是在唐朝之时，胡椒刚传入中国不久，换句话而言，这是一种进口的东西，其价值甚至可以与黄金相媲美。
唐代宗看到这抄出来的东西之后，怒火四起，直接下令挖了元载的祖坟。世人皆知，自古中国便十分注重孝道，祖坟甚至可以说是一个家族的根基，唐代宗的这个惩罚可见其是真的恨透了元载。倘若元载地下有知，不知道是否会为自己的行为而后悔？
