双方军力虽然相当，但薛军粮少气衰，唐军以逸待劳，再加上李世民指挥有方，有效地采取分兵牵制的战术，薛军渐渐抵挡不住，被唐军阵斩数千。薛仁杲见势不妙，率败兵逃回老巢折墌城（今甘肃泾川县东北），李世民穷追不舍，追至城下将其包围起来。薛仁杲穷迫无计出降，不久后被斩于长安。陇右一带归入唐朝掌握。
马邑太守刘武周则严重威胁着晋阳一带。刘武周结连突厥，受突厥所赐之狼头纛，被立为"定杨可汗"，他又自称皇帝，发兵南下与唐争锋。
武德二年三月，刘武周遣其大将宋金刚进攻晋阳以北，连下平遥、介休、榆次等城，李渊派其心腹谋臣裴寂督军抵抗。刘军锋芒正盛，打的裴寂几乎全军覆灭，晋阳留守李元吉和裴寂相继逃回，太原城被刘武周拿下。
宋金刚得势不让人，率大军急速南下，攻陷晋南重镇晋州（今山西临汾），李渊大惧，一度打算放弃河东，但在李世民的坚持下，又发精兵二万北上反攻。
李世民仍然沿用打败薛仁杲的策略，先是深沟高垒坚壁不战，待敌军粮尽力疲之后，突然发兵进攻。宋金刚连连败于美良川、介休等地，其帐下头号勇将尉迟敬德被迫降唐。李世民慧眼识珠，将其引为心腹，后来敬德立功于唐朝，成就一段凌烟阁功臣的佳话。
