公元前121年，十九岁的骠骑将军霍去病两次带兵远征匈奴，大获全胜，俘虏了五个匈奴王。同年秋，匈奴浑邪王、休屠王带着数万部众主动入关投降。休屠王的两个儿子也在其中，有一个叫金日磾（jīn mì dī）。
金日磾起沦为官奴，在上林苑养马。匈奴人没有姓氏，他的姓是后来汉武帝赐予的。
有一次汉武帝带着嫔妃去上林苑看马，众多马倌里，只有金日磾目不斜视，不偷看嫔妃。汉武帝对这个仪表堂堂的匈奴少年很感惊奇，当场给他升职为马监。和孙悟空的弼马温差不多。不久，汉武帝又把金日磾调到身边作了侍中（近臣），后来又让他担任驸马都尉、光禄大夫，大加赏赐。
金日磾对汉王帝也极尽忠诚，跟随汉武帝30多年，还在一次暗杀事件中救了汉武帝一命。汉武帝临终前，任命霍光、金日磾等人为辅政大臣，金日磾的地位仅次于霍光。汉昭帝继位后，按照汉武帝的遗命，把金日磾封为秺侯。
