隋朝末年，众多起义军的首领虽然作战英勇，但是，获得小胜之后很多都沉溺在了声色犬马之中。就是后来问鼎中原的李渊，也并不是一个洁身自好之人。在上行下效之下，李渊的众多子孙早已和他的后妃有了说不清道不明的关系。两相对比，窦建德的形象不说完美无缺，也是难能可贵。因此，河北一带的官僚们无比诚心地归附窦建德，任他驱使，并毫无怨言。
唐军诛杀王世充或许可以让洛阳民众拍手称快，可是，处死窦建德，就令河北民众颇感不满了。
当时的李渊已经认定自己是天下之主，于是，对窦建德的残部毫不堤防。窦建德死后，李渊下旨让窦建德的余部速来长安。窦建德的部下在主公死后无不垂泪啼泣，他们认为，自己深受主公恩德，不能为主公报仇雪恨已经无脸见天下人了。如今，杀死主公的人又强迫自己前去长安，此行定是凶多吉少。于是，他们决定起兵反叛，不仅为了自己，也为了自己死去的主公。
为了迅速形成自己的势力，他们共同推举刘黑闼作为自己的首领。
