那个时候他就结识了一位叫做栾布的朋友，两个人时常在一起说说话，关系处得相当不错。不过即便这样，彭越也一定没有想到，日后自己头悬城楼上，恰好是这位贫贱时相交的朋友为自己收的尸。
在追随刘邦的一路上，彭越发挥自己的势力，也帮了不少大忙。不过在关键的时候他总是表现得不那么立场坚定。当年他屯兵一方，不与各路诸侯相争，却也聚集了万余兵力，这些精兵很受刘邦看重。公元前206年，趁着项羽平叛的机会，刘邦决定发兵进攻，当时他自己的实力是不足够的，没办法，他只好拉拢各方的力量支持自己，彭越就是其中之一。
在他的一番劝说之下，煽动力是非常明显的，在随后的战争中，彭越确实出力不少。不过到了决战的时候，这位一向的支持者居然要选择退出了。这对于战局有着极大的影响，不得已之下，刘邦只好许给他封王的承诺。
