出塞之后，大将军卫青从俘虏口中获悉了匈奴单于的准确方位。大将军想把立功的机会留给自己的老部下，于是把李广从前将军的位置上调开。李广当然不愿意，而且他认为大将军安排给他的是一条根本不适合行军的路线。于是，李广和大将军发生了争执。最后，卫青动用大将军的威势，把李广晾在一边，直接派人去命令李广的属下并入右军。
这是最羞辱人的方式，因此李广没有向卫青辞行，愤然回到自己的军中，踏上了迂回迢远，而且沿途缺乏水源和草地的东道。
这是临时被强行摊派的任务，李广军中当然不会有东道的向导，更糟糕的是原来就走东道的右将军赵食其军中，竟然也没有。
所以李广的军队迷了路，没有能够穿越大漠和卫青会合。卫青击败了匈奴单于，从漠北回到漠南，开始追究李广部没有及时和自己会合的责任。办法，仍然是甩开李广，让李广麾下的校尉到自己的幕府来对口供。于是李广说：
诸校尉无罪，乃我自失道。吾今自上簿。
