卫青曾经受到汉武帝的叮嘱，李广老了，多次打仗不要命，不要让他与匈奴正面交战，恐怕不能实现他的心愿；且此时公孙敖失去了侯爵，担任中将军，卫青也想照顾一下公孙敖，给他一个建功立业的机会。于是，卫青让公孙敖与自己一起正面同匈奴作战，调开李广。李广得知此事后，很生气，拒绝调动。卫青让长史给李广的幕府下令："赶快到军部去，按照命令执行。"李广没有同卫青告辞，非常恼怒，就去了军部，与右将军一起从东路出发。（其实也是执行了军令）东路军有时迷了路，落在卫青的后面。卫青与匈奴交战，单于逃跑，卫青没有战果而返回，向南越过沙漠，才遇到李广和右将军。卫青派长史带着酒食去慰问李广，顺便问东路军迷失道路的情况，说："卫青要向天子报告军中的曲折情况。"李广不回答。卫青派长史迫令李广的幕府人员写个情况说明，听候审问。李广说："我手下的各校尉无罪，是我自己迷失了道路，我自己呈上供状，听候审问。"
回到自己的幕府，李广对自己的部下说："我与匈奴大小战斗七十多次，本次有幸跟随大将军与匈奴单于直接交战，可大将军却调开我，让我走远路，偏偏我军又迷失了道路，这难道不是天意吗？我已经六十多岁了，不能忍受审讯人员的侮辱了。"于是，拔刀自刎而死。百姓们听到此事，不论是认识他还是不认识他的人，不论老年人还年轻人，都为他流泪。右将军被判死刑，赎为平民。
后李敢怨恨卫青让自己的父亲李广冤死，就打伤了卫青，卫青隐瞒了此事。霍去病知道此事后，怨恨李敢，利用汉武帝打猎之机，射死了李敢，汉武帝为霍去病隐瞒此事，说是李敢不幸被鹿撞死。一年多后，霍去病去世。
