在熬死窦太后后不久，汉武帝迅速夺回兵权，以"谋反"的罪名处死了自己的表叔大将军窦婴，并启用自己从民间提拔的卫青、主父偃、东方朔等人，而为了防止世家的不满，汉武帝也同时启用了李当户、韩说一类和自己关系"铁"的世家子弟。
汉武帝、卫青、霍去病合塑
在其母亲王氏觉得自己儿子坐稳了皇位，便开始学起当年窦漪房的时候，汉武帝立即将自己母亲软禁、舅舅田蚡被活活吓死。汉武帝的后期，也许是因为自己奶奶和母亲给自己留下的心理阴影，为了巩固自己专制皇权的排他性，汉武帝开始猜忌自己的皇后卫子夫，一手塑造了巫蛊之祸，将包括卫太子和卫皇后在内的卫氏家族利益集团尽数剿灭。甚至为了防止卫子夫的儿子也就是太子刘据为母报仇，他又把卫子夫的生下的皇子、公主也给杀了，可谓狠毒至极。
不过汉武帝剿灭外戚卫士一族的时候，却没有真正赶尽杀绝，他留下了一个霍光。不过霍光从狭义来讲他并非外戚集团的一员，他刚刚霍去病是卫氏的一员不错，但霍光和卫家的关系并不算亲，霍光霍去病是同父异母，而霍去病和卫青又是同母异父，这样看来霍光的确也就算不上是卫家的一员，汉武帝也是看中这一点才将其留在身边的。
