虎牢关位于今河南荥阳市区西北16公里的汜水镇，"北临黄河，崖岸峻峭，岧岧孤危，高四十余丈，势尽川陆"，这是一座一夫当关，万夫莫开的雄关。当时虎牢关由李世民亲自驻守，军队是唐军中最强悍的玄甲军，不过人数方面就比较寒碜了，总共只有3500人，而关外的窦建德夏军则是10万精锐。
当时唐军中许多高级将领都认为两军人数相差太过悬殊，建议李世民暂时撤退，避敌锋芒。可李世民却斩钉截铁地对众将说道："不必多言，吾意已决！"
李世民很清楚敌众我寡的局面，因此他下令全军坚守虎牢关，同时派小股轻骑兵部队去骚扰夏军后方，劫掠对方粮道。期间窦建德以兵力优势多次对虎牢关发动强攻，但却完全没有任何收获。
