而在张胜出使匈奴的时候，臧荼的儿子臧衍也恰好在匈奴逃亡，他便对张胜说，"陈豨被消灭了以后，下一个就该轮到燕了，您和您的主上马上就会成为别人的俎上鱼肉"，并劝说张胜应该养匪自重，只有如此燕国才能长存，张胜认为他说的有道理，于是便暗中联络匈奴援助陈豨。而在张胜表现出异动之后，卢绾甚至还曾上书请求刘邦族灭张胜，可以说直到此时卢绾仍然没有异心。
之后，张胜返回燕地，对卢绾说出了臧衍的理论，再联系到槐荫后韩信被吕后诱杀，赵王张敖因贯高行刺而被废，梁王彭越因不服调遣、被告发反叛而被先废后杀，卢绾这才警醒，连忙又上书朝廷为张胜开脱。与此同时，卢绾派人联系陈豨，使其逃至燕地附近，进而造成双方"连兵勿决"的假象。
后来，陈豨的降将把此事告诉了刘邦，刘邦起初也并不相信卢绾会造反，因此派人召见卢绾。然而，卢绾面对刘邦的召见又哪里敢去，只得称病推脱。至此刘邦才有所怀疑，但他仍然不敢相信卢绾会背叛自己，因此又派辟阳侯审食其、御史大夫赵尧调查卢绾下人，卢绾恐惧之下闭门谢客，并对手下亲信说刘邦和吕后想要除掉自己，却没想到这段话最终还是传到了刘邦耳中。
之后，刘邦又从匈奴降人那里得到了确切消息，这才确信卢绾已经变心了，于是在汉高祖十二年（前195年）派兵攻打燕国，但不久后刘邦便驾崩了，而燕王卢绾则就此逃亡匈奴，被匈奴封为胡庐王，次年死于匈奴，终年63岁。
如上所述，卢绾的背叛源自于诸侯王与中央朝廷之间矛盾重重的大背景，再加上异姓诸侯的接连被杀被废，他这才有了自保之意。然而，一旦双方生了异心，便再也不可能像以前那样毫无保留了，只会越走越远、裂痕越来越大，最终变成了你死我活的结局。
