据那位小士兵所说，卢绾在陈希叛乱刚开始的时候派人找到陈希，希望自己这方的军队可以和敌方的军队一起保持战争的状态，这样他的地位就能够一直存在。刘邦万万没有想到自己的兄弟竟然会为了地位权利而背叛自己，但是刘邦的心里仍然有一些迟疑，于是就决定自己将这个真相找出来。
在那个时候正好刘太公驾崩了，于是刘邦想要借着这个机会亲自问一问自己的兄弟是不是真的做出了这样的事情？但是没有想到的是卢绾竟然找借口说自己生病了，连刘太公的葬礼都不去参加。这个时候刘邦就已经心灰意冷了，于是派了三波使臣去请卢绾，卢绾最终说并不是他不想去，而是怕去了以后会性命不保，因为吕后一直想要除掉当时朝廷上的这些异姓王，所以为了保命，他只能称病找借口躲在家里。其实卢绾怎么会不知道刘邦已经对他起了疑心了，刘邦也因为这样的事情更加确信了卢绾已经背叛他了，于是就将卢绾燕王的称号收了回去，只是将他免职了而已。
是后来的一件事，让刘邦不得不下狠心将卢绾除掉。当时有一位匈奴人和刘邦说，卢绾曾经也和匈奴勾结，想要一起反叛刘邦。但是去匈奴拉拢关系的是卢绾的一个手下，而卢绾并不知情，后来卢绾就去问自己的部下这样做的原因。得知原因之后，他就正式的开始和匈奴往来，刘邦知道这件事情以后，就决定要将卢绾除掉。但是不久之后，刘邦就生病了，并且一病不起。
刘邦死了，卢绾就带着自己的几千部下一起逃到了匈奴，逃跑的一年之后，卢绾也生病去世了，但是卢绾身边有一个叫卫满的侍卫，卫满带着这些军队来到了朝鲜半岛，并且受到了那里的君王的款待，后来卫满建立了卫氏朝鲜，这个国家至今尚存。
