李广对此安排十分气愤，称自己年少时就与匈奴作战，如今好不容易与匈奴正面交锋，自己愿意主动做前锋，卫青置之不理。李广便向卫青请辞，卫青拒绝，李广便未经卫青同意私自离开。后来卫青大获全胜，而李广因不识地理而迷路，落到卫青的后面，失去了与匈奴作战的机会。
最终卫青在沙漠之中重遇李广的军队，卫青令人责备李广率领军队迷路的罪。李广却说道自己少年时作战，而卫青将他调到东路，路途遥远，又迷路，这就是天意，况且自己已经60多岁，那还有面子去与刀笔小吏对质，便自刎而亡。李广临死前还将自己不服从上级命令，最终迷途沙漠的罪名归咎于天意，难免被人口舌。李广对待下属却十分友好，"将兵，乏绝之处见水，士卒不尽饮，广不近水，士卒不尽食，广不尝食。士以此爱乐为用。"因此李广死后，士兵们痛苦欲绝，连老百姓都为他落泪。
