刘弗陵对这个父亲安排给自己的辅政大臣也很信赖，当然，重点是霍光的确能力出众，以及刘弗陵的势力无法跟霍光抗衡，可以说此时霍光已经一手把持了朝政大权，在朝中拥有众多党羽。
霍光知道自己仅仅作为权臣的身份并不保险，因此他也打算披一层外戚的身份，将年仅6岁的外孙女上官皇后嫁给了12岁的刘弗陵，自己成了皇帝的姥爷。霍光此举目的非常直白，就是想让上官皇后怀上龙种，这样嫡子就算是出自霍家，霍家的地位将更牢固。
但哪怕霍光拦着刘弗陵不让他宠幸其他妃嫔，直到公元前74年刘弗陵去世，上官皇后也没能诞下子嗣。哦豁，这下糟了，刘弗陵没后代，那么继任皇帝只能从刘氏宗亲中选择，说实话霍光是真的非常不乐意，毕竟其他刘氏皇族可不见得能这么听话。
当时呼声最高的乃是广陵王刘胥，也就是刘弗陵的哥哥，但霍光是万万不愿意的。刘胥已经是个有自己思想的成年人，且在广陵有了一套政治班底，性格也不是很好控制的那种，如果刘胥担任皇帝，霍光的好日子说不定要到头了。
