因此就将他推向了权臣的地位。他当时权利很大，文武大臣都要听他的。而在其中最明显的例子就是昭帝离世后，没有儿子，接班人自然是让霍光说了算，后来他在诸王中选择了昌邑王刘贺。
他选择这个人本来也是有争议，有人说他很是无能，很好控制，说白了就是刘贺来做皇帝，他可以继续专权，但是结果刘贺继位后不听话，所以他只让刘贺做了27天皇帝，然后就把他给废了。
不过后来又立了皇帝，这个皇帝胆子很小，从心里就非常害怕霍光。也正因他的权力已经达到了可以随自己的意思废除且改立皇帝，虽然他当时活着非常风光，但他离世之后自己的家族却遭到了厄运，公元前66年，其家族被全族给诛杀。
