785年正月，遇到大赦令的卢杞，在贬官之地得意洋洋地跟人说，老子不久又会回去当宰相，不信跟你赌一毛钱！
不久，唐德宗果然又想起了他，任他为饶州刺史。
直到这时，谏官们仿佛才睡醒过来，赵需、裴佶、宇文炫、卢景亮、张荐等人纷纷上疏，说什么卢杞罪大恶极，十恶不赦，若继续任用，只能使忠臣寒心，好人痛骨，必将再成祸乱根源。
唐德宗这才疑惑地问宰相李勉，大家都在议论说卢杞奸邪，我怎么不晓得，李勉的回答很圆滑，卢杞奸邪，天下人早就知道了，唯独陛下不知道，这正说明他太奸邪了，连陛下都瞒过了啊！
唐德宗不说话，只是沉默。
