当时公孙敖跟卫青关系不错，他刚被贬官不久，卫青把公孙敖调到了自己部下，让公孙敖与自己一起率先进攻匈奴，好以此邀功，让公孙敖官复原职。对于李广，卫青却执意不肯更改调令。这下令李广更为生气，他直接不告而辞，离开了卫青大营，连东路的地形都没搞清楚，就气冲冲的跑到了军部，跟右将军一起率领着军队从东路出发了。
其实李广的行为是十分急躁以及不礼貌的，因为自古以来，行兵打仗讲究的就是一个谨慎，李广作战多年，自然不会不明白这个道理。不过此时的他，却被急躁弄昏了头脑，才干出这样的事。再者，李广虽然辈分大，但官职方面卫青却是比他要高的，于情于理，他准备出军都需要跟卫青打个招呼，好让卫青部署下一步。毕竟古代通信可不像现在，随时随地都能联系上。
走到半路，李广才发现自己不认路，也没有从卫青那边带一个向导回来，右将军也是不认路，两路人马就这样的迷失在了大漠里。卫青出兵后，火速进军，跟匈奴单于打了一场遭遇战，虽然歼灭了不少匈奴，但却未能活捉单于。卫青见状只能收兵，准备回到军营，再做下一步打算。
