没想到的是，曹操在赤壁之战中，被刘备孙权联军击败。刘备大军先后占领了南郡、长沙郡、零陵郡、桂阳郡和武陵郡。北上中原的通道被刘备断绝，刘巴无法回去复命，又不想归降刘备。于是刘巴南下交州，想要借道避难，然后找机会北归曹操。虽然诸葛亮多次写信，希望刘巴留下，但刘巴不为所动，刘备得知刘巴逃往交趾郡的消息，深恨刘巴不为所用。
刘巴前往交趾，隐姓埋名，改称张巴。但因跟太守士燮意见不合，刘巴便经由牂牁道逃往益州。半路上，刘巴被官吏擒拿，险些丧命，被解送到益州牧刘璋处。刘璋跟刘巴是世交，刘璋的父亲刘焉当初被刘巴的父亲刘祥推举孝廉，于是刘璋善待刘巴，让其留在益州。
正巧，此时益州牧刘璋跟割据汉中的张鲁再次发生冲突。刘璋打算以法正为使者，向刘备借兵，邀请刘备北伐汉中。刘巴听闻刘璋的计划，认为刘备是枭雄，请他讨伐张鲁，如同放虎归山（成语纵虎归山的出处）。昏聩的刘璋没有采纳刘巴的意见，刘巴知道益州未来堪忧，于是闭门谢客，装病不出。刘备果然谋取西川，围攻成都。
