金日磾降汉之后，地位低下，被安置在黄门署饲养马，成了一名马奴。一次，汉武帝发现金日磾养马才能高超，于是封他为御马监，之后升迁为侍中、驸马都尉、光禄大夫，甚至"出则骖乘，入侍左右"。但金日磾真正让汉武帝信任，主要是因为两件事。
1，金日磾有三子，长子深得汉武帝喜爱，是汉武帝逗乐子的弄儿，常在皇上身边。但有一天，金日磾却将长子亲自杀死，让汉武帝非常愤怒，金日磾叩头告罪：长子行为不谨慎，在殿下与宫女戏闹。汉武帝闻之很哀伤，为弄儿掉泪，但因此对金日磾更为看重。
2，马何罗兄弟与江充交好，巫蛊之祸中江充伏诛，且江充宗族和朋党全部诛杀，马何罗兄弟害怕被杀，于是策谋造反。汉武帝驾临林光宫时，马何罗兄弟造反，并在第二天清晨亲自入宫刺杀还未起床的汉武帝，结果在门外被金日磾不顾生死抱住马何罗，随即高声呼喊："马何罗造反！"
金日磾自从来到汉武帝身边，几十年从不用目光直视汉武帝。汉武帝赏赐给他宫女，也不敢亲近。汉武帝要把他的女儿纳入后宫，金日磾不肯。《汉书》云"其笃慎如此，上尤奇异之"，于是在公元前87年临终之前，指定金日磾这一个匈奴人辅佐刘弗陵。
