卢绾接到刘邦旨意后居然没来。卢绾意识到刘邦要铲除异姓王，他想到韩信的下场，他认为自己如果去了，不仅封王没了，性命都不保。刘邦先后派了三个使臣都没有把卢绾请来，这就让卢绾坐实了谋反之命。
刘邦随后取消卢绾的封王，这也是卢绾意料之中的事。后来卢绾部下张胜勾结匈奴的事，又让刘邦知道了。于是刘邦派樊哙征讨卢绾。卢绾连忙带着几千人准备逃亡匈奴。此时卢绾本想看看形势再说，毕竟他与刘邦是发小，有些事两人说清楚或许就没有战争了。
但没想到4个月后，刘邦驾崩了。卢绾只得投奔匈奴，卢绾在匈奴一年后就病死了，他手下有一个随从叫卫满的，卢绾死后带着一千多人逃亡朝鲜半岛，被箕子收留。
