曹操派刘巴招抚长沙、零陵等地。可是，赤壁之战中曹操惨败，刘备夺了长沙、零陵，刘巴又转了一个圈又回到刘备的领地。但此时的刘巴已经逃跑，跑到今天的越南，又改姓张。
《零陵先贤传》记载：巴入交趾，更姓为张。与交趾太守士谿计议不合，乃由牂牁道去。为益州郡所拘留，太守欲杀之。主簿曰："此非常人，不可杀也。"主簿请自送至州，见益州牧刘璋，璋父焉昔为巴父祥所举孝廉，见巴惊喜，每大事辄以咨访。
这个刘巴的运气实在是差，不是自己倒霉，就是跟着的主人倒霉。这不，接下来倒霉的就轮到刘璋了。不过，这次怨不得刘巴，他给了刘璋一个很有战略眼光的建议：不要接纳刘备。可是，刘璋不听，结果多年苦心经营的地盘归了刘备。
刘备进围成都时，曾号令三军："谁敢加害刘巴，就灭他三族。"面对刘备的再次盛情相邀，还有诸葛亮写信苦言相劝，走投无路的刘巴只好谢罪归附，被刘备委以重任。
