汉武帝一直是将霍光作为接班人培养的，当然不是培养他当皇帝，而是培养他保护自己的后代，保护整个汉室。所以这么多年培养下来，霍光的能力获得了大多数人的认同，更重要的是他在大多数的人心里威望极高，比皇子还高，仅次于汉武帝，没有人可以质疑他。但也正是因为这样，导致霍光在后来几任皇帝面前肆无忌惮，后来的几件事让他慢慢变成了权臣。
第一件事就是对继任者的限制。
汉武帝驾崩后，刘弗陵继位。而随着刘弗陵逐渐长大成人，已经有了独自处理朝政的能力，于是想收回手中的权力。可是霍光才不会理会他，仍然把持着朝政。刘弗陵虽然无奈，但顾忌到霍光在朝中的势力以及根基，也只能默默地做一个傀儡皇帝。
如果仅仅是朝政上受制于霍光也就算了，刘弗陵自己的生活也是要被霍光管着的。因为霍光觉得刘弗陵生活的地方太奢侈了，于是就把那地方的荷花池、小舟等等全部毁了，可以说刘弗陵唯一的生活情趣也被霍光给管着。
