因前期的摩擦，孙权对初来的蜀汉使者邓芝并不理睬，对继续与蜀汉接好产生了忧虑，因当时曹操的使臣也在东吴，正极力拉拢孙权。邓芝便自己上表求见孙权道："臣这次来也是为了吴国，不只是为了蜀汉。"孙权与邓芝一席交谈，深感邓芝所言之"唇亡齿寒"，是很有道理的，当即就回绝了曹操使臣，称邓芝是两国友好的真正使者。在这个时候，邓芝趁机放还张裔的要求。
孙权不知道有这么一个人，故此准许了邓芝的请求放还张裔。张裔临走前，孙权召见他，看到这位长期隐居吴地的长者，就带着挑衅的口气问："听说蜀地寡女卓文君，私奔是为了司马相如，难道是蜀地的风俗所成？"张裔心怀喜悦，对这样的提问，自然不放在眼里，随口答道："臣下看来寡女卓文君，要比买臣之妻贤惠得多。"
孙权一听，知道此人乃非常之人，就说道："君嗣这次回去，一定会受到朝廷重用，不会再当农夫了，哪你有什么来报答我呢？"很明显，孙权已经开始动了留下张裔的心思，毕竟这是一位人才啊。张裔的高兴溢于言表，不假思索地说："臣下负罪而归，就等待有司的处罚。倘若侥幸不被处死，五十八岁前是父母的，那日后我的命就是大王您的了。"
张裔刚出孙权宫门后，十分后悔自己没有装糊涂，于是迅速上船，加速疾行。果然不出所料，不久孙权就派人快马追来，只是这时邓芝一行人已经进入蜀地永安地界几十里了。孙权得到回报后，万分后悔没有留下张裔这个难得人才。
张裔回到蜀国后，丞相诸葛亮任命他为丞相府参军，代行相府政务，又兼任益州治中从事。诸葛亮驻守汉中，张裔以射声校尉身份兼留府长史。后加封辅汉将军，兼长史照旧。张裔成为诸葛亮北伐曹魏时期，坐镇后方的重要助手。
