并且到了公元190年的时候，刘巴在零陵躲避战乱，担任郡署户曹吏主记主簿。于是，刘备就让自己的一个远房外甥周不疑，去跟随刘巴学习。刘巴在知道此人和刘备的亲戚关系后，就拒绝了。不仅如此，在随后的局势中，众多楚将跟随刘备难逃，但是唯独刘巴不”随大流“，他北上拜见了南征的曹操。
曹操对于刘巴前来投靠，自然非常的重用他，让他接管长沙、零陵、桂阳三郡。刘巴这知道这几个地方后，在曹操的劝说下，非常不情愿的去了。但是随后曹操就在赤壁中吃了败仗，这三个地方就被刘备占领了，刘巴没有完成曹操交代的任务，所以没办法去复命。
在刘巴左右为难的时候，诸葛亮就想劝说他，归顺于刘备，还表示这是天意如此。但是刘巴依然坚持自己的意见，并没有答应，就到了交趾。但是随后刘巴在交趾也没呆上多长时间，就辗转到了益州，准备从此地回到中原。但是他在了路上遇到了刘璋，自己的父亲曾经举荐过刘璋的父亲，所以两人在见面后非常的高兴，而刘巴也就暂时留在了益州。
