所以即位之后，孝武帝虽因发动汉匈战争的关系大力提拔年轻将领，但同时也在想方设法限制将军们的权力，避免从前那种军人政治家主导政府的局面再次出现。公元前124年，卫青的权势臻于顶峰，孝武帝对他的担心也开始逐渐显露。
元朔六年（公元前123年），广复为后将军，从大将军军出定襄，击匈奴。诸将多中首虏，率以功为侯者，而广军无功。
——《史记·李将军列传》
公孙敖：中将军
公孙贺：左将军
苏建： 右将军
赵信： 前将军
李广： 后将军
李沮： 强弩将军
我们不妨对比上一年卫青以车骑将军的身份出征右贤王时的兵团编组：
苏建： 游击将军
公孙贺：骑将军
李蔡： 轻车将军（以上属车骑将军卫青）
李息、张次公二将军别出东道
编组的日趋严密，一方面说明汉军组织大兵团作战的能力进一步提升，但同时也意味着主帅卫青控制军队的能力进一步加强。这对李广这样的老将来说绝非福音。
李广总是抱怨怀才不遇。眼看着许多资历、能力不及自己的人纷纷立功封侯，自己却还在原地踏步，他的抑郁可想而知。李广曾和一个望气的术士王朔闲聊，问了对方这么一个问题：
“自汉击匈奴而广未尝不在其中，而诸部校尉以下，才能不及中人，然以击胡军功取侯者数十人，而广不为后人，然无尺寸之功以得封邑者，何也？岂吾相不当侯邪？且固命也？”
