李渊在太原附近招抚各地势力，西河守将多次向隋朝廷表示忠心，从而挡住了李渊西取长安的道路，于是他派遣李建成、李世民兄弟二人前往攻取，当时唐军力量很弱，不仅粮草不足，而且招募来的义军也大都没有经过训练。
李建成担心这些士兵不能打仗，于是当即立下军法，严厉整肃三军。在出兵西河的行军路上，李建成和将士们同甘共苦，当时百姓种在路旁的瓜果蔬菜，士卒一定要付了钱才能吃，他得到的食物和酒水，也与将士们一同分享。从这一点来看，李建成似乎有大将之风，不仅对士卒恩遇有加，而且他还深知军民如鱼水的道理，能够做到这一点，足以证明李建成还是具备一定才能的。
武德元年，宇文化及在江都杀死了隋炀帝杨广，不久之后，隋恭帝杨侑让位于李渊，在他称帝以后，立李建成为太子。一年之后，司竹盗贼祝山海在当地作乱，他自称护乡公，李建成率领桑显和等人将其平定。同年四月，凉州人安兴贵又擒获了凉王李轨，率众人以及河西诸郡向唐朝投降，李建成奉命前往原州负责接应。
后来稽胡当地首领刘仚成又带着数万人在边疆作乱，李渊命李建成率军前往讨伐。李建成在鄜州与刘仚成的军队遇见，唐军与敌军交战，最终李建成大破刘仚成，斩首百余级，俘虏了一千多人。
