刘黑闼吸收了众多将士后，势力逐渐壮大，并开始反抗起李渊的统治。李渊看到战局出现反复之象，不由地暗暗叫苦。刘黑闼来势汹汹，他不敢怠慢，于是迅速抽调了关中的三千精兵，令他们奔赴前线作为援军。但是，刘黑闼的攻势十分猛烈。区区三千援兵，根本无法抵御刘黑闼的进攻。更为糟糕的是，王世充的一些降将见刘黑闼起兵反唐也前去投靠。
此时，战局对唐朝越来越不利了。
之后，刘黑闼越战越勇，仅用半年时间便已拥有了与唐王朝分庭抗礼的实力。自此，河北一带尽归刘黑闼，李渊不得不再次派李世民出征。武德五年（公元二百二十二年），李世民奉旨进攻刘黑闼。刘黑闼并非莽夫，他深知李世民不好对付，于是主动放弃一些地方以避其锋芒。
但是，李世民志在天下，他步步紧逼，势要将刘黑闼彻底消灭。刘黑闼无奈，只好在洺州（河北永年县）与李世民展开决斗。两人激战了六十天，始终不分胜负。千钧一发之际，李世民采用水攻的方式来打击刘黑闼军队，终于将其击败。刘黑闼溃败之下，只好逃往突厥避难。
李世民看刘黑闼已经逃亡他国，本以为大功已经告成。不料，刘黑闼竟然不久之后重新恢复了元气，再次兴兵来犯。此次，刘黑闼不仅联络了他的旧部，还说动了突厥大军南下。李世民闻之，虽然惊慌，可是，也仅是认为突厥方面出兵不多，主要的敌人还是刘黑闼。
