霍去病是霍仲孺的私生子。这位小吏不敢承认自己跟公主的女奴私通，于是霍去病只能以私生子的身份降世。其父未曾尽过一天当父亲的责任，但霍去病长大后，知道了父亲的事，有次任骠骑将军出征时顺道到了平阳（今山西临汾），霍去病便命下属将霍仲孺请到休息的旅舍，跪拜道："去病早先不知道自己是大人（大人：汉唐时指父亲）之子。"霍仲孺愧不敢应，匍匐叩头说："老臣得托将军，此天力也。"
随后，霍去病更是为霍仲孺购买了宅院，置办了田产，让其安安稳稳过完了下半辈子。
霍去病打完河西回长安，又经过平阳。再次经过平阳的时候，霍去病想了想把一个跟自己是同父异母，未曾相处过的"弟弟"带到了长安进行培养。他的弟弟霍光，在霍去病的推荐下，十几岁就步入了仕途。霍光为人聪明好学，不久就崭露头角，得到了汉武帝的重用。
但是霍去病英年早逝，因病去世，年仅24岁（虚岁）。武帝很悲伤，调遣边境五郡的铁甲军，从长安到茂陵排列成阵，给霍去病修的坟墓外形象祈连山的样子，把勇武与扩地两个原则加以合并，追谥为景桓侯。
