其实郭子仪也不是赏识他，而是郭子仪善于保全自我，他明知卢杞是个小人，但他不愿得罪小人，所以就在某种程度上帮了他。郭子仪地位很高，被皇帝称为"尚父"，当时他已经80多岁。他一次生病当时，朝中百官都前去看望，他都叫侍妾迎接他们，唯独听说卢杞要来时，郭子仪叫侍妾们都退下，独自倚着几案接待他。
卢杞走后，家里人询问其中的缘故，为何不让侍妾们接待卢杞。郭子仪说："卢杞相貌丑陋而心底险恶，我怕你们见到他后忍不住耻笑他。他这人敏感，必然会怀恨在心。有朝一日他掌握大权，势必会陷害我们家，到时候我们家族恐遭灭顶之灾啊。"所以卢杞是连郭子仪都忌惮的人。郭子仪不得罪这样的小人，有时候见了他还会鼓励他两句，小卢啊，好好干，将来会有出息的！这样卢杞心里也美滋滋的，毕竟不是谁都能让郭子仪夸赞的。
还有户部侍郎杜佑，很受皇帝器重，也被卢杞陷害构罪，贬为饶州刺史。
当时淮南节度使李希烈联合卢龙节度使朱滔等造反。783年，李希烈攻陷汝州，朝廷大惊，此时卢杞向唐德宗提议，派颜真卿到李希烈的军中进行招抚，唐德宗准奏。
李希烈心肠狠毒，什么坏事都能做出来，让年过七旬的颜真卿到他的军中进行招抚，无异于让孤羊投群狼，有去无回。消息传出后，朝野内外惊愕不已。宰相李勉、河南尹郑叔纷纷劝说颜真卿不要去送死，但君命难违，颜真卿只得前往。果然，颜真卿到达李希烈的军中后，吃了很大苦头。李希烈先是威逼颜真卿给朝廷写信，给自己洗刷罪名，说他没有造反，颜真卿不答应；后来李希烈要称帝，企图让颜真卿支持他，并且要让颜真卿当宰相，又被他坚决拒绝；李希烈又以活埋、火烧等恐怖手段来威胁颜真卿，但他始终坚强不屈，绝不投降叛军，最后被李希烈缢杀。颜真卿之死跟卢杞不无关系。
