只是当樊哙浩浩荡荡出发后，有人开始说起了坏话，说樊哙媳妇，那是吕后的妹妹，吕后这个女人，是有野心的，他们两个要是一拍即合。岂不是很难办？
刘邦一时糊涂，只是认为吕后有野心，自然而言就认为，樊哙是个危险分子，于是立刻临阵换将，把樊哙抓了起来。
这时候的樊哙，依然保持大大咧咧性格，任凭自己被下了军权，送上囚车。这种相当配合的态度，反而让押送樊哙的陈平没了注意，只得带回长安。
只是在半路上，刘邦死了。而回到长安的樊哙，官复原职。
其实，刘邦从始到终，都是相当信任樊哙的，直到最后，也没有想要杀死他的想法，不然，樊哙早在军营就死了，樊哙倒霉就倒霉在吕后的身上。
