卢绾认为，自己如果不把权力重新交托出去的话，可能最终也会走向这样一个悲惨的结局，但是说句实在话，谁又想将到手的权力全部吐出去呢？在这种情况下，卢绾就只好选择背叛西汉背叛刘邦，和匈奴联合在一起，起兵造反。
除此以外，卢绾身边的谋士张胜对他的推动作用也是一个不可忽视的因素。在卢绾帮助刘邦平定起兵造反的陈豨时，他还没有想过要依靠匈奴的力量和刘邦对着干，而且谋士张胜当时其实也没有想过。可是在张胜被派遣去出使匈奴之后，事情却发生了变化。
被匈奴人说动的张胜回来之后，面对卢绾的责问，就对卢绾分析了当时的政治局势。在张胜看来，刘邦之所以要杀掉异姓诸侯王，是因为这些人的存在阻碍了皇权的集中和加强。因此就算卢绾一直非常受刘邦信任，但是只要卢绾还掌握着实际权力，双方之间的矛盾就不可能消除。
