如此数年边境地区损失极少，但李牧的措施，被匈奴及赵王认为是怯战。赵王召回李牧，另选将军驻守。此后一年多时间里，匈奴每次来犯，赵军即出城交战。由于赵军分散戍守，仓促集中出战，对机动性极强的匈奴军，多陷于被动。
屡次失利，伤亡很多，边境地带变成了战场，百姓无法耕作放牧，举目一片荒凉，民不聊生。赵王只好再命李牧出任原职。李牧托病推辞，赵王再三下令。李牧提出如果用我，请允许用以前的作战方针。赵王应允。
按以往的方针施行，边境局势又得到控制，相对稳定下来。又经过几年的经营、训练，赵军战斗力大为提高，求战愿望日趋强烈，而匈奴则误认为李牧怯战，益发轻敌，李牧认为歼灭匈奴机会已经成熟。
