但可惜的是，这么多场大战下来，李广始终没有立下一场足以让人封侯的大胜，甚至还曾经多次因为战事失利而入狱。可以说，苦求不得的"封侯"一事已经成了他心中的一种执念。
元狩四年，武帝以卫青为帅，发动漠北之战，对于60多岁的李广来说，这已经是他建功立业的最后机会。为了不错过这最后一次立功时机，他多次上书武帝，请求随卫青同行。武帝拗不过李广的数次恳请，任命他为前将军随卫青一同出征。
但最后，李广依旧没能跟随卫青一同直击匈奴驻地，反而被卫青指派从东路出击，袭扰敌人后方。
这一命令，后世有不同的解读，有人认为是武帝不愿意让年事已高的李广承担前军的主攻重任，这才暗示卫青将李广派到次要战场。也有人认为，是卫青想要成就自己的好友公孙敖，这才将更容易立功的前锋一职交给了后者。
卫青本身私德不错，并不是一个以权谋私的人，更何况涉及国战，他又怎么会为了自己的好友下达临阵换将的乱命呢？因此，李广被调离主战场应该是汉武帝的命令。
