建安二十五年（220年），曹操去世，曹丕继魏王，任张辽为前将军，张辽的哥哥张泛和张辽的一个儿子被分封为列侯。孙权再次反叛，曹丕封张辽为都乡侯，派驻合肥。同年，曹丕称帝（魏文帝），封张辽为晋阳侯。
黄初二年(221年)，张辽到洛阳宫朝拜，文帝曹丕在建始殿会见张辽，亲自问他打败吴国的情况。文帝听后，叹息着对左右说："张辽不就是周代的召虎吗"？曹丕为他建造了宅第，把当年跟从张辽突破吴军阵线、直冲孙权帅旗的临时应募的士兵，全部封为"虎贲（bēn即勇士）"。
黄初三年（222年），张辽奉命还屯雍丘，得了疾病。文帝派侍中刘晔带着太医前来诊治。那些虎贲勇士询问病情的，一路不断。魏文帝把病中的张辽接到自己行营，并亲自前来探视，握着他的手，赐给他御衣、御膳。张辽病势稍有好转，又回到屯兵的地方。孙权十分害怕张辽，告谕众将："张辽虽然抱病，但仍勇不可当，你们千万要谨慎在意啊"！这一年，吴兵来犯，张辽与王凌等人出战，大破吴将吕范，缴获了大量舟船、渡江物质。不久，张辽病重，死于江都。魏文帝闻知痛哭流涕，赐谥号"刚侯"。张辽的儿子张虎承袭了爵位。
黄初六年(225)，文帝追怀张辽、李典在合肥的战功，下诏说："合肥的战役，张辽、李典凭着八百步兵，打败了十万敌军，自古以来用兵，没有这样的战例。使敌人至今威风扫地，可以称作为国家的爪、牙了。增赐张辽、李典食邑各一百户，封他们各一个儿子为关内侯的爵位"。到了唐建中三年（782年），礼仪使颜真卿向唐德宗建议，追封古代名将六十四人，并为他们设庙享奠，其中就包括有"魏征东将军晋阳侯张辽"。宋朝时，张辽列为古代七十二名将。可见，后世对张辽的认可。
