翟让起兵造反后，徐茂公和单雄信都加了瓦岗军。两人都是瓦岗军在李密加入前的元老人物，同时私人间有深厚的个人交情，誓同生死。李密加入瓦岗军后，瓦岗军发展壮大，徐茂公和单雄信都成为瓦岗军高层人物，地位很高。
单雄信在瓦岗寨翟让时期，就是第三把交椅。后来翟让主动让位给李密，李密依然放心不过，设计除了翟让，徐茂公亦在混战中被砍伤。而单雄信和翟让自小是心腹之交，故主好友遇难，却无动于衷，跪地求降，轻易屈就，薄情寡恩。
单雄信成了李密为首的瓦岗寨三把手。李密与王世充之战中，败于王世充，带着瓦岗寨残兵投奔了李世民。许多大将都先投的王世充，但在与唐军交战前都声明而去，唯独单雄信投了王世充一干到底，二次背主。
