于是，刘邦决定试探他一番，正值刘邦父亲去世，刘邦想借此机会询问卢绾，但卢绾却总是说身体抱恙，不能前往。刘邦一连召了他十三次，但卢绾都一一拒绝，其实，并不是他不想去，只是韩信陈希等人的结果大家都知道，吕后千方百计想要铲除这些跟随刘邦征战天下的功臣，倘若自己前去，必然是凶多吉少。卢绾看得很清楚，他知道韩信等人和自己一样，都是异姓王，但都被铲除，所以他决定渐渐疏远刘邦，为自己留一条生路。可正是这个决定，却给了吕后可乘之机，一口咬定卢绾有谋反之心。
刘邦废除卢绾的王位，罢免其职务，但没有杀死他。毕竟他追随自己多年，兄弟之情溢于言表，实在不忍。但之后却听说卢绾其实是匈奴安插在自己身边的间谍，这让刘邦大怒，终于下定决心铲除掉他。刘邦派人攻打卢绾，自己也病倒了，卢绾知道后决定回去谢罪，但刘邦病情不见好转，最后驾崩去世。卢绾只能带着家人和手下逃到匈奴。卢绾不久也生病逝世，其手下有个叫卫满的，带领部下去了朝鲜，并用计攻下王城，建立了属于自己的国家。
此人是刘邦亲信，晚年带兵逃到边境，建立一国家，至今仍存在。卢绾到底是怎样的人们不得而知，毕竟历史是胜利者写的，我们也只能从史书中猜测一二而已。
