武德八年，突厥可汗颉利率领十万大军在西山一带作乱，高祖派遣几支唐军前往御敌，但是，大部分军队都被突厥军队击败，有的甚至全军覆没，唯有李靖带领的一万江淮部队没受损失。
到了贞观三年，唐太宗任命已经是兵部尚书的李靖为定襄道行军总管，李世勣、薛万彻、柴绍等人为行军总管，发十万多兵力，分四路前往平乱。
李靖认为兵贵神速，便率领三千骁骑兵前往袭击颉利可汗的牙帐。颉利惊慌不已，看到李靖的军队便以为身后带着唐朝倾国之兵，于是，仓皇逃遁到铁山。同一时间，唐军其它兵力也取得了辉煌的胜利。
颉利畏惧于唐朝势力，于是，派遣使者入唐谢罪，举国向唐朝称臣，自己也搬迁到唐朝首都长安居住。同年二月，唐太宗派遣唐俭等人赴往突厥宣慰，由李靖带兵迎接颉利。李靖等人私下商议，认为颉利虽然战败，但是，突厥部队势力却仍然不可小觑，将来如果他们恢复势力，必定又会进攻中原。
