在王世充的帐下单雄信被封为了大将军，率领军队随着王世充一同征战四方。公元620年，李世民率军在攻打洛阳之时，王世充派出了单雄信率军出战，这一场仗单雄信手持武器直接朝着李世民的脑袋就是一刀，不过最终被曾经的好友徐世绩出面制止，单雄信才放下自己手中的武器，转身离去。
这一次单雄信未能直取李世民的人头也为之后的事情埋下了隐患。面对李唐如此强大的军队王世充很快便败下阵举军投降，对于王世充军队的投降一向求贤若渴爱惜人才的李世民却下达了将单雄信处死的消息，尽管徐世绩在一旁向李世民求情，希望能免除单雄信的死，但最终却被李世民拒绝。
