卢绾是刘邦老乡，不仅如此卢绾的父亲和刘邦的父亲刘太公的关系很好，这说明卢绾家里也颇有家资，而不是贫苦的老百姓。刘邦和卢绾还是同年同月同日生，因此乡里的人们就抬着羊和酒到刘卢两家去祝贺他们。在沛县，刘家和卢家都是有头有脸的人物，要不然家里生了儿子也不会有这么大的动静。
及高祖、卢绾壮，俱学书，又相爱也。--《史记·韩信卢绾列传》
等到他们长大了，刘邦和卢绾又在一起读书，关系更加亲密了。要知道那个时候能读书识字，对很多人来讲是一种奢望，而刘卢两家的家业，就足以让两个人接受教育。那个时候还没有科举制度，人们的认知普遍停留在种地当兵的阶段，你要一般人家投资让孩子读书，很多家庭是既没有条件也没有认识的，而刘太公和卢绾的父亲就可以认识到读书的重要性，这个见识和魄力已经不是一般人可以比拟的了。
