元狩四年（前119年），以卫青为大将军、霍去病为骠骑将军的汉朝大军进攻匈奴。
汉武帝以年老为由不让李广随军出征，经过李广多次申请，才勉强同意并封他为前将军。但汉武帝私下告诉卫青，若要擒拿单于时，不要让李广冲在前面，他的年龄太大，命数又不好，不是吉利之兆。
汉军很快获悉了匈奴单于的居所。遵照汉武帝的意思，总指挥官卫青不让年老的李广对阵单于。同时，卫青有意让曾救过自己性命的好友公孙敖建功立业，命其率领精锐部队去捉拿单于。
于是，卫青施令让李广从前锋位置撤回，并入右路军，配合中路军作战。李广再次表明他愿与单于拼死决战，但遭到卫青的拒绝，只得愤愤不平地按照军令行动。
在这个过程中，由于没有向导，李广的军队居然迷路了，耽误了与卫青会合的时间，导致中路军在交战中无法击溃并俘获单于。
