其次，单雄信曾对李世民痛下杀手。唐朝武德三年，李世民率兵攻打洛阳，单雄信率军出战。单雄信持枪纵马直取李世民，差点就要了李世民的小命。幸亏尉迟恭救驾，以及徐世勣及时出现，否则就没有后来开创贞观之治的唐太宗了。李世民虽然大度，但对这种一心想杀他的人，他也难以做到心中没有隔阂。而且，他家与单雄信有杀兄之仇。如果单雄信要为兄长报仇，暗杀他父亲李渊，那这个问题就严重多了。所以，宁可不要单雄信，也不能把危险因素带入朝堂。
李渊
最后，对于是否杀单雄信，李世民也无法做主。徐世勣与单雄信是好兄弟，单雄信被抓后，徐世勣曾向李世民求情，希望能免单雄信一死。他愿用自己的官爵和荣华富贵来换。但李世民拒绝了。其实并非李世民绝情，而是因为真正能做主的人只有他的父亲李渊。据《旧唐书》记载，王世充战败后举军投降，李世民将情况上报李渊。而李渊对于这些人的处置，则是处死。所以即使李世民想放单雄信一马，也有心无力。
