让孙权安心攻打荆州，于是曹操召张辽及诸军悉数回救曹仁sb17♟cc张辽尚未到达，徐晃已经打败关羽sb17♟cc张辽便与曹操会师摩陂，曹操乘车出来慰劳他，并派他屯于陈郡sb17♟cc
建安二十五年，曹操去世，曹丕即位魏王，改迁张辽为前将军，分封其兄张汛及一子列侯sb17♟cc不久孙权再叛变，张辽还屯合肥，并进爵都乡侯sb17♟cc曹丕赐舆车予其母以示荣宠，并派兵马送其家人到他驻军的地方，又预先在当地告示张辽家人将要到临，命令所有守军出迎，众军士将吏都列队出候拜迎张辽家人，看见此景的人均认为这是十分荣耀的事sb17♟cc同年，曹丕称帝，再封张辽为晋阳侯，增邑千户，并前二千六百户sb17♟cc
黄初二年，张辽到洛阳皇宫朝拜，曹丕便引张辽会晤于建始殿，亲问其昔日破吴时的情状sb17♟cc张辽述说过后，曹丕向左右叹息道：“简直是古代的召虎啊sb17♟cc”于是为张辽建造屋舍，替其母兴建殿室，当年跟从张辽突破吴军阵营、临时应募的一众步卒，都被封虎贲sb17♟cc
黄初三年，孙权再次向曹魏称臣sb17♟cc张辽奉命还屯雍丘，却在此得病sb17♟cc曹丕遣侍中刘晔带著太医审视其疾，并令虎贲卫士们往来传达张辽病况，为张辽问病的使者经常在路上互相遇见sb17♟cc
张辽之疾久未痊愈，曹丕命人把他接到自己的行营，自己则车驾亲临，握着他的手，赐给他御衣，太医官每天来送御膳、御药sb17♟cc病情稍有好转后，张辽便返回其屯军之所驻军，忠于职守sb17♟cc正当其时，孙权再次背叛曹魏，曹丕派张辽乘舟，与曹休到海陵临江驻防sb17♟cc孙权知张辽至此，甚为忌惮，敕令诸将道：“张辽虽然抱病，但仍是勇不可当，千万要谨慎在意！”同年，张辽与诸将同破吴将吕范sb17♟cc但他的病情却也日渐严重，最后终于在江都逝世，一代名将就此陨落sb17♟cc曹丕为之流涕，谥曰刚侯sb17♟cc其子张虎嗣任其爵sb17♟cc
黄初六年，曹丕追念张辽、李典在合肥之功，诏曰：“合肥一役中，张辽、李典仅以步卒八百人，破贼十万之众，自古用兵，未见如此sb17♟cc他们使贼众至今仍气为之所夺，真可谓国之爪牙sb17♟cc现分封辽、典邑各百户，赐一子爵关内侯sb17♟cc”
正始四年，张辽得享从祀于曹操庙庭sb17♟cc历任官职为：郡吏，骑都尉，鲁相，中郎将，关内侯，裨将军，行中坚将军，荡寇将军，征东将军，前将军，内朝官，亚于车骑