徐世勣收养了单雄信家眷，也算尽到了朋友之责。这时候我们就发现问题了：单雄信只是王世充的部将，又有徐世勣苦苦哀求，李世民为什么不送这个顺水人情？这个问题我们就要从新旧两唐书中去找答案了。
答案一出自《隋唐嘉话》，单雄信差点杀掉李世民的四弟齐王李元吉（正史中李元吉是老四，李玄霸是老三）："雄信壮勇过人，勣后与海陵王元吉（李世民将其斩杀后追赠海陵郡王、巢王，谥号为剌）围洛阳，元吉恃其膂力，每亲行围。王充召雄信告之，酌以金碗，雄信尽饮，驰马而出，枪不及海陵者尺。勣惶遽，连呼曰：'阿兄阿兄，此是勣主！'雄信揽辔而止，顾笑曰："胡兒不缘你，且了竟。！"
这就是说，如果单雄信不看在徐世勣的面子上放过李元吉，太子建成就少了一个支持者，李世民不用发动玄武门之变，也可能坐上太子之位，这是李世民痛恨单雄信的第一种说法。
答案二出自《旧唐书·列传第十八》和《新唐书·列传第十四》，单雄信差点杀掉的是当时的亲王李世民："（尉迟敬德跟着李世民）猎于榆窠，遇王世充领步骑数万来战。世充骁将单雄信领骑直趋太宗，敬德跃马大呼，横刺雄信坠马。"
