不过，让唐德宗万万没想到的是，他破格提拔的这个卢杞，不但没有他想象中的宰相之才，反而堪称唐朝的"灾星"。卢杞的父亲卢奕是个忠诚耿直的忠臣，而卢杞则一点也没有遗传他父亲的优良品行。他的才干平平，但为人却极为卑劣阴险。《旧唐书》记载，卢杞大权在握后，显示出本来面目，"既居相位，忌能妒贤"，"小不附者，必致之于死，将起势立威，以久其权"。
卢杞最大的特点就是嫉妒贤能，最大的本事就是排除异己。他在任期间，凡是德行才能超过他的人，耿直清正不肯谄媚依附他的人，一概被他视为眼中钉肉中刺，毫不留情予以铲除倾轧，必欲除之而后快。就连宰相张镒、杨炎、李揆等高层大臣，都难逃他的毒手。颜真卿一生以清廉正直闻名天下，却惧怕卢杞的陷害，被迫向他低头。
颜真卿恳求卢杞说："今已羸老，幸相公庇之"，再三表示自己已经年老多病，不会威胁到他的地位，希望得到他的庇护。并说明自己和卢杞之父都是老交情，"相公忍不相容乎！"卢杞却丝毫不为所动，硬是让颜真卿出使叛军李希烈处，借刀杀人，害死了颜真卿。威震天下的汾阳王郭子仪，对卢杞也心存忌惮，他说："若此人得权，即吾族无类矣"。
万幸的是，郭子仪的担心没有成为现实。卢杞由于作恶多端不知收敛，遭到朝野臣民的一致反对，成为唐朝千夫所指的奸臣。卢杞一共在宰相位置上当了三年，就在处置一起叛乱时闹出了大乱子，遭到大臣群起而攻之，从宰相位置上一落千丈，成为新州司马，接着又被贬为澧州别驾，在困苦落寞中结束了他罪恶一生。《新唐书》把他列入"奸臣传"中，受到天下后世的唾弃。
