然而，李牧离开边境的一年多时间里，新上任的将领倒是屡屡出兵抗击匈奴，但几乎每次都大败而归，将士们伤亡自不必说，田地和牛羊也均遭受了重大损失。
赵王一看这不行啊，于是再请李牧出山，让他去守边境。而李牧顺势提出了自己的条件，"让我去可以，但您不可再干预我统兵策略，因为我还会像以前那样坚守不出。"赵王已经因为用错人而损失惨重了，哪敢不答应。
而李牧返回边境的几年中还是拒不出战。匈奴每次来犯同样一无所获，由此也认为李牧胆小如鼠。然而，所有人都不知道，李牧其实是用这好几年的时间布下了大局，就是让匈奴轻敌的。
