但是此时的发展并不好，知道跟随杨玄感起义的李密的到来，瓦岗寨才开始逐渐的壮大，甚至在于隋军的作战当中取得大胜，而这个时候整个的瓦岗寨分成了两派，一派以翟让为首的老派，而单雄信就是其中的佼佼者，一派就是以李密为首的新派，而秦琼等人却都是李密这派的。
后来李密设计在宴会之上诛杀了翟让，而单雄信见情况不妙，便对李密服了软，就这样又投到了李密的麾下，虽然有人建议李密，连单雄信一起诛杀，但是李密觉得单雄信是个人才，于是便让他继续管理着之前翟让的人马。
但是其实两派的矛盾依旧存在，随着隋朝的灭亡，李渊建立了唐朝，当然此时的中原大地依旧是诸侯割据，而随着瓦岗寨矛盾的加深，秦琼、徐茂公等人先后出走，前去投靠了唐朝李世民，而单雄信没有前去，知道诸侯之一的王世充派兵攻打瓦岗寨，李密兵败之后也投降了唐朝。
但是单雄信却是投靠了王世充，而且还做了王世充的大将军，在李世民率军前来攻打的时候，也是只有单雄信领兵出战，甚至据说差一点就杀了李世民，再后来王世充彻底失败，而单雄信也被李世民俘虏。
