虽然因为李牧奉行固守之策，赵国几无损失，但因一昧的坚守，避免与匈奴交战，让赵军上下皆对李牧不满，认为他是一个胆小怯懦之人。消息传到了赵孝成王耳中，使得赵孝成王感觉赵国颜面尽失，因而将李牧召回，换上了其他人率军抵御匈奴。结果在此后的一年多的时间里，每次匈奴进犯，赵军皆出城作战，屡战屡败，赵国损失惨重。
赵孝成王这才意识到李牧的重要性，于是再度请李牧出山。李牧上任后故伎重施，随后趁匈奴放松警惕之时，率军重创匈奴、东胡等部落，又使得林胡投降赵国。此后的数十年时间里，匈奴、东胡等部落皆不敢靠近赵国边境半步。
公元前246年，赵孝成王病重，李牧入朝，被委以相国重任，前往秦国，使得秦国放归了在秦为质的赵国太子偃。次年，赵孝成王去世，太子偃即位，是为赵悼襄王。
赵悼襄王即位后，便褫夺了上将军廉颇的兵权，使得廉颇一怒之下率军叛乱，随后又率部投靠魏国。这个时候，田单、蔺相如、赵奢、乐毅等人皆以病亡，李牧成为了赵国当之无愧的"国之柱石"。
