霍去病死后，霍光就被封为了奉车都尉、光禄大夫，顾名思义，就是跟随皇帝的车驾，作为贴身秘书般陪伴汉武帝，也就是我们常说的"亲信"。
此后的20多年里，霍光一直陪同在汉武帝的左右，出则陪车跟随、入则贴身侍奉，他为人谨慎、头脑清晰、心思缜密，这些年中从来没有出现过任何纰漏。据身边的官员们刻意观察，霍光每次出入宫殿，该走多少步、该在什么地方停下，20多年来几乎完全一模一样，没有丝毫的偏差。
对于这种认真、诚恳、做事专注的部下，任何领导都没有抵抗力，原本以霍去病的关系被安排在皇帝身边的霍光，从此成了汉武帝最信任的人之一。享受这一待遇的，还有品德高尚、铁面无私的匈奴王子金日磾，善于逢迎、忠心耿耿的上官桀。在汉武帝临终前，这三位被共同安排为汉昭帝刘弗陵辅政大臣。
常言道，举贤不避亲，我们判断一个人才是否合格，不应盯着他的出身，而是要审视他的实际表现。"李广难封"，李广出身将门，他的弟弟、儿子、部下，都曾凭借功劳封侯；但李广本人，虽被司马迁等史学家大肆赞美，但究其一生，他从未立下能够让自己封侯的战功。
