一方面，范愿等人感恩于窦建德的恩惠；另一方面，他们也担心重蹈单雄信的覆辙。于是范愿等人一致做出决定：举兵反唐。经过占卜，他们得知奉姓刘的为主能够成事，就去找窦建德旧将刘雅。但刘雅却认为，天下已定，自己无意再出山，要终老于农桑。
范愿等人见刘雅如此不讲义气，于是当场将之格杀。之后，他们又找到了归隐于农家的夏国大将--刘黑闼。
刘黑闼本是无赖，嗜酒，好博弈，不治产业，和窦建德是同乡。由于家境贫困，窦建德经常资助他，两人由此结为莫逆之交。范愿等人找到他时，刘黑闼正在家中种菜。听说要起兵反唐，刘黑闼立即丢下锄头，杀死耕牛，用牛肉招待了自己的老战友。
