刘邦小时候也读过一些书，但他绝非本分的读书人。他性格豁达粗犷，待人宽厚。平时很少参加家庭农业生产，他的父亲曾为此多次责备他。到青年时代，秦始皇已经统一全国，他通过考试当上了秦的泗水亭长，并与郡县小吏关系非常亲密。但他这时也成了一个酒色之徒。后来被他封为齐王的大儿子刘肥的母亲曹氏当时就是他的外妇。
尽管刘邦在生活上有失检点，但胸怀大志。有一次，他押送夫役到首都咸阳，正碰上秦始皇出行，看到秦始皇威风凛凛地坐在仪仗护卫的车中，他便赞叹说："唉，大丈夫就应该像这个样子！"
从咸阳回来后不久，刘邦就结了婚。妻子是单父（今山东单县南）人吕公的女儿。吕公原来不住在沛县，因为和沛县的县令关系好，为躲避仇家而搬到沛县。吕公刚到沛县时，县里的豪杰吏曹听说他是县令的贵客，都来拜贺。当时萧何在沛县任主吏，他主办宴会，向来客宣布："凡贺礼不满一千钱，都坐在堂下。"刘邦也是贺客之一，他根本没带钱，却对传达说："我贺钱一万。"传达去告诉吕公，吕公急忙亲自下堂迎接。吕公看到刘邦后，觉得他相貌气度非凡，对他十分敬重，就拉他入席就坐。酒后，吕公示意刘邦留下，提出愿意把自己的女儿嫁给他。这对刘邦来说是求之不得，因此和吕公的女儿就成婚了。吕公的这个女儿就是后来历史上著名的吕后。她为高祖生了一儿一女，女儿后来称鲁元公主，儿子就是汉惠帝。
