黄初二年（公元221年），张辽回朝述职，魏文帝曹丕又当着满朝文武的面，亲问其昔日破吴时的威猛。张辽述说过后，曹丕不由向左右叹息道："此亦古之召虎也。"（召虎即召公，东周名将，周宣王时曾领兵出征，平定淮夷。）下令为其建造府第，又特为其母筑殿，当年跟从张辽破吴的那帮敢死卒，则皆被任为虎贲，在宫廷担任宿卫，曹丕觉得倍儿安全感。
黄初三年（公元222年），张辽回到驻地，不幸染病。曹丕听说，大为焦急，忙遣侍中刘晔带一帮太医去给他会诊，传递张辽病情的虎贲卫士，道路上往来飞马不绝。驿站为之爆满。
张辽毕竟五十多岁了，多年征战，创疾无数，这次旧病复发竟久久无法痊愈，曹丕着急上火，赶紧又派人将张辽接到行宫来养病，并乘车驾亲自前来看望，紧握张辽的手，赐以御衣，又令御厨每日送给御膳。这时，孙权复叛，张辽病又好了些，曹丕就让张辽乘舟，与曹休同到海陵（今江苏省泰州市，属徐州广陵郡）临江驻防。孙权英雄一世，却只害怕张辽一人，遂敕令诸将："张辽虽病，不可当也，慎之！"同年，张辽与诸将共破吴国前将军吕范。不久张辽病笃，竟逝于江都，时年54岁。一代名将就此陨落，魏文帝曹丕为之痛哭流涕。
