如此数年边境地区损失极少,但李牧的措施,被匈奴及赵王认为是怯战。赵王召回李牧,另选将军驻守。此后一年多时间里,匈奴每次来犯,赵军即出城交战。由于赵军分散戍守,仓促集中出战,对机动性极强的匈奴军,多陷于被动。
屡次失利,伤亡很多,边境地带变成了战场,百姓无法耕作放牧,举目一片荒凉,民不聊生。赵王只好再命李牧出任原职。李牧托病推辞,赵王再三下令。李牧提出如果用我,请允许用以前的作战方针。赵王应允。
按以往的方针施行,边境局势又得到控制,相对稳定下来。又经过几年的经营、训练,赵军战斗力大为提高,求战愿望日趋强烈,而匈奴则误认为李牧怯战,益发轻敌,李牧认为歼灭匈奴机会已经成熟。