到了霍去病21岁那年，他的名气已经冠盖天下，故此吸引越来越多的匈奴将士前来投诚。当时除了原有的匈奴王、匈奴汉裔赵破奴等，还新加入了匈奴楼傅王伊即轩、匈奴因淳王复陆支、匈奴小部落王赵安稽以及路博德、卫山、李敢、渔阳解。
有些人在《汉书》中有描述，但《史记》并没有记载，不过后期的匈奴人总数，估计约占了霍去病军队的三成以上。
随着霍去病的大力征讨，不少匈奴部落的首领、部将、士兵被霍家军降服，随而选择成为霍去病的部下。
霍家军不止将领是匈奴人，中级跟基层的士官也有不少为匈奴人，不过大量采用匈奴将士也留下了一定的潜在危险。当初，漠南战役爆发，已经投靠霍去病的匈奴大将赵信却临阵倒戈，带着一批匈奴骑兵潜逃回匈奴部落，还因此分享了大量情报给匈奴王单于，赵信也因此有功，从而成为单于的得意谋士。
