九月初，李渊军兵临杨侑设下的第二道防线--河东城（今山西永济西）下。河东城位于黄河东岸，为隋骁卫大将军屈突通所把守，他凭借坚固的城墙和险要的地理形势，把河东城守得固若金汤，并撤去了河上的浮桥及各种船只，阻止李渊军渡河。李渊争取到当地居民及义军的支持，得了些舟楫,组织敢死队绕城渡河。可敢死队遭到了屈突通的夜袭，溃不成军。
李渊围城挑战，然屈突通坚壁不出；发动攻击，却损兵折将，陷入极为不利的境地。李渊望城兴叹之际，李世民、裴寂等人献计，主力溯河北上，从梁山（今陕西韩城东黄河中）、龙门（今山西河津西北黄河中）渡河；分兵继续围城，阻止屈突通追击。
形势豁然开朗，龟缩在河东城中的屈突通不得动弹，李渊率主力按计渡过黄河，进入三秦地界，受到士民的普遍欢迎。他命李建成、刘文静率部进屯永丰仓（今陕西华阴东），守潼关，扼制东向来援之敌；命李世民率部沿渭水经营，直取长安。
李世民的部队并非孤军深入，他的叔父李神通、妹妹平阳公主与妹夫柴绍夫妇等人相继起兵，联络当地义军，成功地扫荡了长安以外的隋军据点和营垒，前来与李世民会师。随之，李建成挥部入关，李渊统军西上，形成了对长安的包围。
