小时候对历史不了解，很长之间里分不霍去病跟霍光的关系，曾经一度以为霍光是霍去病的父亲。无知地认为：如果他俩是兄弟的话，名字里多少会有点暗示，比如说霍光叫做霍去光。后来知道了，这个霍去病是霍光的哥哥。
平阳县有个小官，叫做霍仲儒。这个小官经常去平阳公主的府邸，后来看上公主府的一个女奴，两个人一来二去，就搞出事情来了。这个霍仲儒人不如其名，一听自己喜当爹。立马拍屁股跑了，这个可怜的女奴叫做卫少儿，她有个姐姐叫做卫子夫。
这个霍仲儒回到老家之后居然再次娶亲生子，又生下的这个儿子就是后来大名鼎鼎的霍光。再后来，因为卫子夫被汉武帝临幸，卫青又娶了汉武帝的姐姐，卫家地位大增。卫青经常被派去打仗，霍去病也有机会跟着舅舅出去崭露锋芒。
霍去病有一次打仗回来的路上路过他爹的家乡，特地去看了看。这一看最大的收获就是发现了自己眉清目秀气质爆表的弟弟霍光。于是就把霍光带到了身边，后来又在宫里安排了一件差事。霍光才有机会一步一步得到汉武帝的赏识，最后成为托孤大臣。
因为这一家子全都是靠着关系上位的，所以霍光对此也非常用心经营。先是把自己的大女儿嫁给了当朝大臣上官桀的儿子上官安。后来又把自己的小女儿嫁给了同样是托孤大臣金日磾（音同笛）。
