但是，刘黑闼在窦建德麾下征战的时间，并不算长。仅仅三年之后，著名的虎牢关大战爆发。虎牢关大战爆发的原因，是因为当时李渊统一关中之后，派李世民统兵去进攻洛阳的王世充。王世充自然不敌，只能向窦建德求救。窦建德深知自己不是李渊的对手，但同时又想着坐收渔人之利，想等李世民和王世充两败俱伤之后，再出手摘果子。
这个计划，看似天衣无缝，但窦建德唯独漏算了一点，那就是李世民实在是太能打了！李世民打垮王世充，将洛阳彻底围困之后，又分兵迅速占领了虎牢关，阻挡住窦建德大军增援洛阳的道路。
就是在这样的背景下，虎牢关大战爆发。而这一战，也成了李世民的封神一战。
当时窦建德为了顺利摘果子，几乎调集了麾下所有军队，号称是三十万大军。而李世民身边，则只有不足万人。甚至有史书记载，李世民当时身边只有三千多人。如此巨大的军力差距，看起来窦建德是必胜无疑。但这次大战的结果，却是李世民一举打垮了窦建德，并且把窦建德本人都给俘虏了。
窦建德被俘虏后，刘黑闼不愿投降李唐，只身逃回家乡，暂时隐居了起来。但很快，随着一个消息的传来，刘黑闼再也坐不住了。
