并且，霍去病这个人还是典型的孝子，小时候他并不知道自己的亲生父亲是谁，长大得知后特地前去平阳拜会父亲霍仲孺（是西汉著名将领霍去病与西汉著名权臣霍光生父）。两人见面之时，霍去病直接跪下，对父亲说："从前不知道我是您的儿子。"从小就没管过霍去病的霍仲孺十分羞愧。并且，对着霍去病跪倒磕头道："我从未尽过一个做父亲的责任啊！"
之后，霍去病并不记恨，反而为父亲购置田地宅院以及奴仆，后来，还在出征归来后带家中的弟弟霍光前往朝廷谋职，使霍光在后来在朝廷中成为当朝名臣。
霍去病一辈子没有婚配，然而，却留下两个孩子，一个叫霍嬗，是霍去病跟侍女的孩子。因为霍去病连年征战，对这个儿子没尽管教之责，只是把他送到卫青家里接受教诲。霍去病过世的时候这个孩子才四岁，之后，也继承了父亲的爵位，受到汉武帝的赏识，着重培养。
