刘邦还没有做泗水亭长的时候，因为被官府缉拿，因此要四处躲避追捕，而卢绾就一直跟随在刘邦的身边，和他一起颠沛流离提心吊胆的过日子。刘邦为什么会被官吏捉拿呢？想来想去也不知道所以，说他喝酒不付钱赊账，那是在他做了泗水亭长以后的事情。在此之前，刘邦除了读书就是游历四方，和官府有什么纠葛呢？
秦之灭大梁也，张耳家外黄。高祖为布衣时，尝数从张耳游，客数月。--《史记·张耳陈馀列传》
在记载张耳陈馀的史料里找到了答案，刘邦在为布衣的时候，曾经多次跟随张耳游历四方，还在张耳家里一住就是几个月之久。他们游历四方显然不是为了游山玩水，按照现在的说法，应该是联络志同道合的同志，目的只有一个：反秦。从秦灭魏国后，四处通缉张耳和陈馀就可以看出这两个人不简单，而陈馀又是张耳的弟子，和刘邦可以算是师兄弟。
张耳者，大梁人也。其少时，及魏公子毋忌为客。--《史记·张耳陈馀列传》
