因祖父和父亲都是高官，所以卢杞根本就用不着努力，从生下来那天起，官帽子就等着他了，因荫庇而入仕的他，最初担任的是清道率府兵曹。
后来，卢杞又被朔方节度使仆固怀恩看中，召他为朔方掌府掌书记等职，但因病被免官。
对于这种高官的后代来说，闲着只是暂时的，只能算"休假"，"假期"一过，照常上班，所以那以后不久，可能病都还没好，卢杞就重新被召，补任鸿胪丞，然后接连升官，从殿中侍御史、膳部员外郎到忠州刺史。
值得一提的是，在担任忠州刺史的时候，卢杞去谒见过荆南节度使卫伯玉，卫伯玉一看他那长相，就满脸不高兴。
卫伯玉的表情，把卢杞惹毛了，一怒之下称病辞职--他奶奶的，你不喜欢老子，老子还不伺候你呢！
