起初，夏侯渊在县里担任县官，有朝廷的俸禄支持家庭的开支，养一个夏侯氏在家并不是难事。但是后来他犯了重罪，被打入了监狱，险些死于非命。幸好当时的曹操在中央任职，上下打点，保住了夏侯渊一命。但改为了免官还乡。
正赶上那年兖州、豫州大乱，天灾人祸不断，百姓流离失所，饥荒无处不在。被免官的夏侯渊家，也没有经济来源，日子也过得非常的清贫，常常要忍饥挨饿。但是他宁愿饿死了自己的幼子，也要让亡弟之女夏侯氏吃饱喝足。
因此！夏侯渊与夏侯氏之间的关系，虽然不是父女，但早就亲如父女了。
据《魏略》记载，建安五年（即公元200年），夏侯霸从妹夏侯氏，时十三四岁，在本郡樵采，为张飞所得，遂娶为正妻。后为张飞诞有两女，皆嫁给了刘禅，做了蜀国的皇后。
