但很可惜，天下没有不透风的墙，卢绾与匈奴的种种关系，终于还是被传到了皇帝刘邦的耳中，刘邦一开始不相信，派人去传唤卢绾前来对质，但是卢绾因为害怕像韩信一样无声无息的就死了，便称病不往。卢绾害怕到了极致，对大臣说了一些话，而这些话却将其彻底的推向了刘邦的对立面，所有情分都付之一炬。《史记》记载：
[绾愈恐，闭匿，谓其幸臣曰："非刘氏而王，独我与长沙耳。往年春，汉族淮阴，夏，诛彭越，皆吕后计。今上病，属任吕后。吕后妇人，专欲以事诛异姓王者及大功臣。"]
卢绾说，异姓王基本都死光了，只剩下他和长沙王吴芮了，现在皇帝体弱多病吕后当政，而吕后又为了权力狠辣无比，韩信和彭越都是被吕后所杀，还总想找个借口杀掉异姓诸侯王和功高的大臣。接下去可不就轮到他了吗？
