后来，李世民攻打洛阳，王世充兵败投降，单雄信这才放下兵器选择投靠李世民，殊不知为时已晚。李世民下令斩杀单雄信等人，尽管徐茂公在李世民面前苦苦求情，说他愿意将自己的全部功劳换取单雄信一命，但也没有改变李世民斩杀单雄信的决心
徐茂公知道救不了单雄信，于是便到牢房去探望他，并割下自己的一块肉给单雄信吃。徐茂公说，自己永远都不会忘记当初同生共死的誓言，奈何眼下没有办法救他，日后一定会代他照顾家人的。
很多人说，李世民不肯饶恕单雄信的原因是，单雄信曾经在战场上差点置他于死地。但事情并不是这样的，在战场上能将对方置于死地，足以说明单雄信武功了得，况且两军交战，各为其主，这根本就不是李世民不宽恕单雄信的理由。
李世民知人善任，他不留的人自然有他的道理，秦琼、程咬金、尉迟恭等人都与单雄信有旧交，当单雄信有难，仅仅只有徐茂公一人出面求情，其他人都没有表明态度。
