打退了突厥对太原的进犯，起兵被李渊提上了日程，他的目标是西入关中，攻下长安，为了避免突厥趁机帮助刘武周攻打太原，他卑辞厚礼稳住突厥，承诺攻城略地所得财宝都献给突厥，突厥卖给他好马。稳住突厥后，李建成和李元吉也赶到了太原汇合，李氏父子的大业就要开始了。
西河郡丞高德儒不响应李渊，而西河（今山西汾阳）又在进军长安的必经之路上，所以大军进发之前必须先拿下西河。六月初五，李渊派李建成和李世民带兵攻打西河，当时李渊的军队还没有编制，李建成和李世民也没封号，军中就叫他们大郎和二郎，唐朝的郎相当于后世的公子。当时李建成28岁，李世民18岁，因为太年轻，李渊就派太原令温大有和他们一起参谋军事。
当时军队刚刚筹建起来，还没有经过训练，李建成和李世民怕难以治军，就先制定了军法，稍稍整顿后就出发了。兄弟二人和兵士同吃同住，同甘共苦，赶路时冲在前面。六月份民间瓜果蔬菜已经收获了，他们不像其他军队一样抢夺百姓，一定要用钱买才吃。有士兵偷瓜果的，李建成和李世民都帮他付钱，也不追究偷东西的人。路旁有乡亲父老送瓜果蔬菜和水的，他们都重谢然后分给兵士，见者有份。有人送牛肉和酒的，他们坚决不要，说这是隋朝的法律，我们义军不敢。不得不说这兄弟二人在收买人心方面比他们的父亲是青出于蓝而胜于蓝，将士们看到大郎二郎这样都十分感动，士气大振。
