汉军出塞以后，卫青抓到了匈奴俘虏，得知匈奴单于的方位其实在自己这边。于是他改变计划，由自己带领主力去追袭单于，而让李广和右将军赵食其合并，从东路夹击。
东路路途遥远，而且沿路缺少水草，行动势必受到阻碍，这就意味着李广失去了直面匈奴单于、立下大功的机会，因此他着急的找卫青申诉："我自幼就与匈奴作战，时至今日才得到一次与单于对敌的机会，请让我和他决一死战；何况原本我的我的职务就是前将军"。
而按照《史记》中的记载，卫青之所以改变布置，有两种说法。
其一，汉武帝认为李广的运气一直很衰，再加上此时已经年逾花甲，状态与年轻时相比更加无法相提并论，如果让他对阵匈奴单于，极有可能贻误战机。因此汉武帝再三交代卫青，不能让李广直面匈奴单于。
其二，当时担任中将军、跟着卫青的公孙敖，不久前才因罪被撸掉了侯爵；卫青希望借此机会他立功赎罪、官复原职，因此故意把李广从前将军的岗位上调离。
