任期满了之后，奉旨回京。可是节度使并不舍得他走，连夜给皇帝写奏折，希望将张居翰留下，也得到皇帝的许可。通过这件事情，足以说明张居翰的人品不错。
后来朱温得势，要挟皇帝杀掉所有宦官。而张居翰得到幽州节度使的力保，才保下一命。可是当时的宦官监军几乎被灭，只有张居翰与另外一位监军幸免于难。
唐朝灭亡之后，张居翰到李克用旗下做事。打仗的能力不错，也立下了赫赫战功。在潞州保卫战中，张居翰拒绝朱温的诱惑，每一次都是打头阵，恨不得杀掉朱温。在他与李嗣昭的努力下，才成功保卫住潞州。
之后，张居翰得到李存勖的认可，成为枢密使。当时李存勖称帝后，蜀王王衍自动投降，承诺会保住王衍一家。可是谁知道，皇帝遭到了小人的挑拨，下诏书说："王衍一行，应该杀掉"，有宦官负责执行此项任务。
