在唐朝被覆灭之后，张居翰改投到李克用手下。他打起仗来很英勇，还破了后梁的大军，让潞州保卫战大胜，在李存勖当了皇帝之后，让张居翰担任枢密使，也是特别的赏识信任他。
要说张居翰的为人被人称颂还要归功于后来在与蜀主王衍的战争中，王衍知道自己的兵力没办法抵抗李存瑁的大军，所以带领自己的家人和手下一起投降，李存瑁接受了他的投降，并答应会保护王衍全家人的性命。但是在他们出发一起回朝的时候，李存勖却受到奸人的挑拨，最后下了密令给张居翰，让宦官向延嗣在半路把王衍人等全部杀掉。
张居翰认为李存勖此举不仁不义，不是一个君王该做的，而且出尔反尔实在违背君王之道，但是皇命又不能够违抗，无奈之下冒着杀头的危险偷偷把诏书里面的"王衍一行"改成"王衍一家"，因此保下了一千多个随从手下的命。
庆幸的是张居翰偷改诏书的事并没有暴露，最后在李嗣源夺取李存勖的皇位之后，就请求告老还乡，终年71岁。张居翰一生仁慈对人，就连欧阳修对他也是极其的赞誉，最后也算安详老年。
