征和二年（前91年），汉武帝的宠臣江充因与太子刘据有矛盾，遂陷害、逼死太子。事发后不久，汉武帝幡然醒悟，知道太子是无辜的，因而灭了江充三族。那些曾经参与陷害太子一事的江充同党也难逃被追查的厄运。其中，侍中仆射马何罗与江充关系十分密切，他的弟弟马通更是在诛杀太子时因奋力作战而得到了赏赐。
后来马何罗果然要谋反，想杀了汉武帝。不料被金日磾识破。经过此事后，汉武帝对他就愈发器重。
后元二年（前87），病势垂危的汉武帝把金日磾和霍光叫到床前，嘱托他们共同辅佐时年8岁的太子刘弗陵（即汉昭帝）。由此，金日磾的身份从被俘的匈奴人一跃而成为托孤大臣。
然而，金日磾却拒绝了辅政大臣的任命，谦让地表示："我是匈奴人，能力不如霍光。如果这样做，会让匈奴轻视汉朝。"于是就当了霍光的副手。后来，汉武帝遗诏以讨伐马何罗的功劳封金日磾为秺侯，他却以汉昭帝年少为由不接受封侯。
金日磾辅佐汉昭帝一年多后患病，于始元元年（前86）九月病逝于长安，终年49岁。汉昭帝为他举行了隆重的葬礼，并依据汉武帝遗诏封其为敬侯。
