缘于霍光是自己爱将霍去病的弟弟，所以汉武帝对他也是很宠信，就把他当成了自己身边的亲信对待。后来霍去病英年早逝，汉武帝就将对他的思念，寄托在了霍光身上。所以就给获取连连升官，先后升任为奉车都尉、光禄大夫、大司马大将军等职位，时刻相伴在自己的左右。
大家也知道，汉武帝是个残忍、猜忌的人。一般在他身边伺候的人，经常会受到他的打骂，轻则杖责几十大板，重则直接赐死。而这个霍光却成了为数不多能够得到汉武帝的宠信，并且没有对其处罚过。这缘于霍光为人谦虚谨慎、做事一丝不苟。
有句话说得好：岁月催人老。多年之后，汉武帝也渐渐地老去了，由于当时的太子刘据因为在“巫蛊之祸”中，蒙冤而死。所以继承人的问题成了汉武帝头疼的大事，而另外2位皇子刘旦和刘胥很不成器。唯独8岁的小儿子，即后来的刘弗陵是个可造之人。
不过刘弗陵年纪尚小，即使担当大任，也难免其他兄弟对其加害。所以汉武帝就想让一个大臣来辅佐他，他思前想后，最终将霍光选为这个托孤大臣。汉武帝为什么要思前想后，而且钦定霍光为托孤大臣呢？因为汉武帝在上朝的时候，发现了霍光20年来保持着一个独特的习惯。
那就是他每次上朝的时候，从殿门的进出、停顿、前进都踩在固定的地方，丝毫没有什么偏离。而这一点，被细心的汉武帝注意到了。在他看来，霍光就是一个心思缜密，为人稳重的一个人。而汉武帝需要的就是这样的一位托孤大臣。
