汉武帝趁机又扶植卫氏：卫子夫为皇后，卫青为大将军，"卫氏为侯者五人"。而卫青的外甥霍去病则为大司马，霍去病擅杀二千石将军李敢，汉武帝居然不深究。在霍去病英年早逝后，汉武帝便任命其弟霍光，为奉车都尉，光禄大夫，"出则奉车，入侍左右，出入禁闼二十余年，甚见亲信"。汉武帝临终前，"以光为大将军大司马，受诏辅少主"，成为辅政四大臣之首，影响昭帝朝二十余年，并以谋反罪，将辅政的太仆、左将军上官桀、御史大夫桑弘羊诛灭。
元平元年（公元前74年），汉昭帝驾崩，霍光做主迎立昌邑王刘贺为帝，但刘贺急于求成，想从霍光手中夺取权力，霍光召"丞相、御史、将军、列侯、中二千石、大夫、博士会议未央宫"，以"昌邑王昏乱，恐危社稷"为名，建力主废掉昌邑王的帝位，"群臣皆惊愕失色，莫敢发言，但唯唯而已。
废掉昌邑王之后，霍光又做主，从民间找来武帝的曾孙刘询（原名刘病已）当皇帝，是为汉宣帝。
宣帝刘询十分惧怕霍光，"光每朝见，上虚己敛容，礼下甚已"，每次霍光给宣帝驾车，刘询都"如芒在背"。霍光"党亲连体，根据于朝廷"，权势熏天。虽然目前没有明确的记载，表明霍光有不臣之心，有压制皇帝的过分举动，但可以肯定的是，昭宣两帝都对他很畏惧。
