单于大惊，召左、右两翼军八万多骑兵前来围攻李陵。李陵率部边抗击边赶路，向南撤退，几日后，来到一个山谷之中。汉军连续作战，士卒大多身受箭伤，但仍顽强苦战，受伤三处的坐在车上，受伤两处的驾车，受伤一处的手持武器坚持战斗，又杀了匈奴三千多人。李陵率部沿着龙城旧道向东南方撤退，四五天后，退到一大片沼泽芦苇之中。匈奴在上风放火、借风吹火之势烧死汉军;李陵也命部下放火烧光周围的芦苇以自救。
汉军继续南行，来到一座山下。单于在南山命他的儿子率领骑兵向汉军发动进攻。汉军在树林中弃马而战，又杀死匈奴几千人，并用连弩机射单于，单于下山逃避。当天，汉军抓到部分匈奴俘虏，经审问，他们说:"我们只听单于说:"这是汉朝的精兵，猛攻也没能将其消灭，他们日夜引我们向南接近汉塞，莫非他们在那里埋伏了军队？''当户、君长们都说:"单于亲率几万骑兵战胜不了汉军几千人，以后将无法再号令边臣，还会使汉朝更加轻视匈奴。所以要在山谷中再次进行战斗，还有四五十里才能到平原地区，如果仍不能取胜就返回。"此时汉军处境越发凶险。匈奴骑兵多，一日交战几十回合，又被汉军杀伤二千多人。匈奴作战不利，打算撤兵离去。
