他与刘邦的关系很铁，二人没事便常泡在一起喝酒划拳。有一回，老哥俩玩过头了。不知从哪搞到一把宝剑，秦朝对铁器管理十分苛刻，老百姓连耕犁都是木质，更别提有刀剑。两人使劲勤耍呢，刘邦一不留神划伤夏侯婴。
按照秦朝的律令，民间私藏刀剑，论罪处斩。官府一个劲拷打夏侯婴剑伤是哪来的，夏侯婴咬着牙说不是剑伤，是切菜划伤。拷打半天也没套出话，加上刘邦在外头帮忙运作，夏侯婴便被判三年牢狱。从此以后，刘邦认定此人仗义，与他结成生死兄弟。
夏侯婴没有太大的战功，因为他一生都从事给刘邦做司机。白登之围时，匈奴围三缺一想放刘邦逃跑，刘邦上车便跑，夏侯婴提醒刘邦要沉着冷静，别让匈奴看出破绽。这充分显示出他作为司机职业的沉着冷静。
