但是霍去病是个很聪明的人，当他后来出征途中路过平阳县时，专门在平阳县传舍请霍仲孺前来见面。霍去病向当年抛弃了自己的父亲霍仲孺下跪道："去病早先不知道自己是大人之子，没有尽孝。"霍仲孺愧不敢应，回答说："老臣得托将军，此天力也。"
影视剧中的霍去病
霍仲孺这是客气了，哪里是老天的功劳，是他自己当年没管住自己，犯下了那个年代的男人都容易犯的错。霍仲孺选择分手，从平阳侯府跑回老家后，在平阳县里当县吏，在这里他又娶了妻，生了子。
霍去病问清原委后，得知父亲在老家又生了个儿子，本来孑身一人，茕茕独立的他，惊喜地发现世上还有个同父异母的弟弟，他将这个弟弟带到长安照顾，这个弟弟也很争气，后来成为西汉一代权臣，连废立皇帝这种事都做过。
