具体说这件事，还得从霍去病的身世说起。和大家想象中的豪门贵族不同，他的身世在当时并不算好，他的母亲是平阳侯府的女奴，而他的父亲地位也不高，只是个小吏，名字叫霍仲孺。因为女奴的地位在当时是很不受人喜欢的一种，所以他的父亲并不承认他母亲的地位。用现在的话来说，他就是个私生子。
不过好在，霍去病的亲戚比较多，还各个都比较厉害。比如卫子夫的母亲，比如卫青，比如当时的丞相夫人卫君孺。因此，霍去病虽然是个私生子，但生活水准还是很高的。而他从小的志向便是，成为一个将军。从他的时间来看，他是没有机会娶妻的。毕竟常年征战，回来的路上就病逝了。
