时间长了，李牧的胆小怕战传到赵王的耳朵里。赵王有点不高兴，几次派人来责问李牧。但李牧仍然我行我素，就像没听见一样。赵王真生气了，于是后果很严重，把李牧调回来，撤职，换人。
接替他的将领敢于战斗，匈奴一来，立即出城迎敌，但结果却不是匈奴的对手，连吃败仗。一年多的时间，便损失惨重，城外的土地连种庄稼和放牧都没法进行了。
这可要了命了，赵王没办法，只好请李牧再回去镇守。李牧推辞说自己有病，连大门都不出去。赵王只好硬着头皮强逼着李牧回去。
李牧看到时机成熟便说："我回去可以，但我还是用我的老办法。您答应了我再去。"
