卢绾是丰邑人，和刘邦是同乡。卢绾的父亲和高祖的父亲非常要好，等到生儿子时，刘邦和卢绾又是同日而生。乡亲们抬着羊酒去两家祝贺，等到刘邦、卢绾长大了，在一块读书，又非常要好。乡亲们见这两家父辈非常要好，儿子同日出生，长大后又很要好，再次抬着羊酒前去祝贺。高祖还是平民百姓的时候，被官吏追拿需要躲藏，卢绾总是随同左右，东奔西走。
刘邦从沛县起兵时，卢绾以宾客的身份相随，到汉中后，担任将军，总是陪伴在高祖身边。跟从高祖东击项羽时，以太尉的身份不离左右，可以在高祖的卧室内进进出出，衣被饮食方面的赏赐丰厚无比，其他大臣没人能企及，就是萧何、曹参等人，也只是因事功而受到礼遇，至于说到亲近宠幸，没人能赶得上卢绾。
汉五年（前202）的冬天，刘邦击败了项羽，就派卢绾另带一支军队，和刘贾一起攻打临江王共尉，将他击败。七月凯旋而归，跟随皇帝攻打燕王臧荼，臧荼投降。高祖平定天下之后，在诸侯中不是刘姓而被封王的共有七个人。高祖想封卢绾为王，但卢绾的功劳较小，他群臣怨恨不满。等到俘虏臧荼之后，就下诏封将相们为列侯，在群臣中挑选有功的人封为燕王。文武群臣都知道皇帝想封卢绾为王，就一齐上言："长安侯卢绾经常跟随皇帝平定天下，功劳最多，可以封为燕王。"皇帝下诏批准了此项建议。汉高祖五年八月，就立卢绾为燕王，所有诸侯王受到的皇帝宠幸都比不上燕王。
