当初，南中雍闿作乱，将他绑了送到东吴。
然后后来，是丞相诸葛亮派遣邓芝出使吴国。
诸葛亮教邓芝言谈之间可向孙权提出请求放还张裔，也就是进行非刻意营救。
就像当年秦公五张羊皮换来百里奚那样，诸葛亮担心孙权知道他是个大才后会扣留下来不放回来。
营救过程不是很顺利，被孙权警觉了，所以他拖着没批准。
虽然当时汇报的时候，邓芝表示的是：
张裔自从到吴国，几年来一直流放隐居，孙权并不知道他这个人，故此准许了自己的请求放还张裔。
但实际上，张裔临走前，还被孙权召见了。
而当时孙权放走，实际的根本原因是刘禅率军在南中取得迅速而庞大的战果，让孙权不敢轻举妄动。
孙权询问他说：“蜀地卓氏的寡妇，和司马相如私奔，贵地风俗怎么会是这个样子？”
这句话实际上是在试探的招揽张裔，若是张裔有意留下来，孙权接下来便好亲自出手招揽对方。
若是对方没有这个意思，孙权也不用丢一次脸。
而张裔的回答很巧妙，他说：“我认为卓家守寡的女子，比朱买臣妻子贤慧得多。”
卓文君认定司马相如，而朱买臣的妻子却逼迫丈夫写休书，二人看人的眼光不一样，因而命运也就不一样。
张裔是委婉的说自己看中了刘备的势力，要回去。
孙权明白后，便又对张裔说：“你回国后，一定要为蜀国效力，终不会像个农夫呆在乡间小巷里，那么你将用什么报答我呢？”
这就是威胁了，你小子既然就是要回去，那将来恐怕就是我的敌人啊。
我凭什么放你活着离开，给我一个降下不杀之恩的理由。
张裔回答说：“张裔负罪回国，将把自家性命交给朝廷安排；如果能侥幸保得住脑袋，则我五十八岁以前是父母给的生命，自此以后则是大王您恩赐的岁月。”
这意思是说，他本来就有丧职失土的罪责，回去是要被有司论罪的。
若是能侥幸活过五十八岁，之前我的命是父母给的，之后我都会感激您的恩德。
孙权欢悦地谈论着，有欣赏张裔才能的意思。
张裔出孙权宫门后，十分后悔自己没有装糊涂，于是迅速上船，加速疾行。
孙权果然派人追留，但张裔已经进入永安界几十里，追的人已赶不上他。
张裔回到蜀国后，丞相诸葛亮任命他为丞相府参军，代行相府政务。
后来，刘禅北伐之前决定带走诸葛亮，于是诸葛亮便让张裔以射声校尉身份兼任留府长史。
张裔经常称赞诸葛亮说：“丞相赏赐不遗漏关系疏远的人，惩罚不宽容关系亲近的人，官爵无功不可得，刑罚富贵权势不得免，这就是聪明能干者和愚昧平凡者都能忘身为国的原因。”
第二年，关中局势对峙僵持之时，张裔北上去见诸葛亮咨询有关事务。
当时送行的有数百人，车马都堵满道路。
张裔回信对亲人说：“前几天动身上路前，昼夜接待来访的人客，得不到休息，人们敬重的是丞相长史这个职衔，儿子张君嗣附在这一职位上，故此疲倦得要死。”
他谈吐诙谐机灵快捷，都像这样。