公元l90年，刘巴在零陵躲避兵灾，担任郡署户曹吏主记主簿，刘备仰慕他的大名，叫他的远房外甥周不疑去向他求学，刘巴一听是刘备介绍的，拼命推辞。刘巴心想，我的职位是主记主簿，是管会计的，不是批作业簿的，叫你外甥来拜我为师，岂不是莫名其妙?于是忙说自己承当不起，拒绝了刘备的仰慕。
赤壁之战前夕，刘备被曹操击败，开始逃难。在新野驻兵时，荆州许多名士都追随刘备。江北的名士也涌到了江南，而江南大才子刘巴却逆江北上，赶到江北去投向了曹操。刘巴宁可做汉贼也不跟随刘备，刘备从此恨上了刘巴。
四处逃避不肯归顺
据《小康》杂志史诚文载，曹操对刘巴的投诚自然十分高兴，并任命他做自己的助理。不久，曹操叫他去招抚江南的长沙、零陵等地。刘巴坦率地对曹操说："刘备的目的是荆州，江南是守不住的。"曹操固执地说："如果刘备攻打江南，我派大军做你的后盾。"刘巴明知江南守不住，但还是听从了曹操的命令，到零陵去策反。刘巴如此效忠曹操，刘备得知后愈加愤怒。
刘巴到了江南后，正如他所料，刘备、诸葛亮已经站稳了脚跟。他进退两难，便想从交州取道返回京城交差。当时诸葛亮住在临蒸，他追赶上刘巴说："刘公雄才大略，盖世无双，拥有荆州的土地，天意和人意的离合，从中便可知了。你离开后打算到哪里去呢?"刘巴说："我冒尽艰险，来到自己的故土，我没有能力打动这些民众。但是我决不改变初衷，即使把性命交给大海，也不回头看一下荆州。"还表示，"我奉曹公之命南下，没有完成使命已是失职，至少应该回去销差。你们不借道，我也不要求，你们别劝我投降"。刘备闻此更加不悦。随后刘巴干脆逃到交趾(越南)，改姓张，在交趾的太守士燮手下做事。士燮是拥吴派，是三国时代少数没有卷入斗争的领导者。或许是刘巴的意见与他的作风不合，两人处得不好，刘巴不久便离开了。
