而卢绾不论如何也是刘邦昔日兄弟，刘邦应该只打算将其降官或免职，必不会对其痛下杀手。然而，此时却发生了另外一件事，使刘邦下定决心要除掉这位昔日兄弟。其实，卢绾所说的话并不能作为他谋反的直接证据，最终，让刘邦敲定卢绾造反的，还是一个匈奴降将的证词。
按照这名匈奴降将所言，卢绾派出了一个叫张胜的人前往匈奴，四处奔走，替卢绾拉拢匈奴。其实，在此之前，卢绾怀疑张胜勾结匈奴谋反。但是，等到张胜从匈奴返回后，详细向卢绾解释了他为什么要那样做的理由，卢绾这才醒悟，于是，就让张胜安心做他和匈奴之间的线人。
居然与匈奴为伍背叛我？刘邦被彻底激怒。
就这样，刘邦派樊哙讨伐卢绾，而卢绾听说刘邦因为这件事气得病倒了，所以，带着几千名骑兵和家人一起守在长城边，打算等刘邦痊愈后回到长安向好兄弟谢罪。可惜的是，刘邦并未痊愈，而是在四个月后驾崩，卢绾只能带着亲信家属逃入匈奴，一年后也因病离世了。
