刘璋自知打不过刘备，在加上张松，法正等人对他的不断忽悠，刘璋就派遣张裔为使者，去和刘备谈归降的条件，最后刘备答应他，只要刘璋投降，不仅以礼相待刘璋的部下，而且还让他享受富裕的生活。张裔回到成都后，就打开了城门迎接刘备。刘备进入蜀地后，封张裔为司金中郎将，负责农具和兵器的制造。张裔在成都任职期间，由于工作突出，经常受到诸葛亮的赞赏。
后来由于刘备刚刚入蜀不久，蜀国的地方豪强都非常猖獗，当时的益州太守正昂就被当地的豪强首领雍闿杀死，可是由于雍闿在益州非常有威望，刘备也不想得罪他，就派张裔继续担任益州太守。张裔赴任时，由于太耿直，没有拜访雍闿，于是雍闿就命令手下，把张裔捆绑送到了东吴。孙权当时由于没有听过张裔，所以就没有给他官做。
张裔来到东吴后，虽然满腹经纶，但是他宁可流浪也不肯在东吴入仕。就这样一晃十二年过去了。刘备死后，诸葛亮为了稳固蜀国和东吴的关系，就派邓芝出访东吴。邓芝临行前，诸葛亮特意嘱咐他，一定要请求孙权将张裔放回来！邓芝来到东吴后，向孙权提出接走张裔的请求，孙权第一没听过张裔的名字，第二一看已经是个58岁的糟老头，就没有放在心上，批准了张裔回国的请求！
