尽管李密此时已经归诚，可毕竟是半路朋友，王世充对他很不放心，李密的强大更加引起了王世充的不安，不久他便率兵与李密交战。虽然有徐茂公、单雄信这样的勇将伴随左右，但李密的实力远远低于王世充，不久就战败了。这时，单雄信再次表现出了懦弱的一面：他直接投靠了王世充。
与他出生入死的徐茂公则在此时选择投靠了李世民。
由于李世民这个人"发迹多奇，聪明神武"，他所领导的势力很快便发展壮大起来了，此时兼并其他势力便是局势发展的需要，于是他和王世充之间的争夺也就在所难免。而单雄信早已成为了王世充手下的一员猛将，当他看到敌方的领导者李世民尚且年轻，根本就不把他放在眼里，扬言仅凭单枪匹马就能取李世民性命，李世民听闻消息后十分恼火。
后来王世充兵败，原本打算直取李世民性命的单雄信做了对方的俘虏，徐茂公因念及昔日出生入死之情而力劝李世民饶恕单雄信，并表示若李世民杀掉单雄信日后一定会后悔。
