一段时间后，他被派到幽州去监督军事，与当幽州的长官相处得很愉快，也正是因为如此，他才保全了一命。当时唐懿宗决定要把它调回去，但是幽州的长官因为不舍得他，便上旨请求将他留下。皇帝一看他们情谊深厚，心想这也不是什么大事，便同意让张居翰留下来。
没想到903年到了 ，朱全忠上书要皇帝将宦官们的职务都剥夺，甚至要将这些宦官杀掉。幸好张居翰没有回到宫廷，刘仁恭把他藏起来，假意将他杀掉了，张居翰才逃过一劫。经此一役的张居翰隐居下来后，正好遇到大战爆发，刘仁恭将他借给了李克。
张居翰凭借着卓越的能力，在大战中立下了汗马功劳，李克见他如此能干，便不愿以把他还给刘仁恭，于是张居翰便在李克麾下指挥作战。然而，五代时期，战乱频发，一次又一次的战争，造就了一代又一代的成王败寇，李克病逝后，他的儿子在一场又一场的厮杀灭掉了梁国，923年正式登基。
三年后，王衍叛乱，李存勖非常生气，派了一堆人去镇压。王衍清楚地认识到了自己无力抵抗，便审时度势投降了。李存勖感到很高兴，许诺会给他们封地，没想到等王衍一行人来到了京城，正好遇到李存勖即将御驾亲征。一些大臣们感觉到危机四起，认为如果不杀掉王衍的话，很有可能会乱上加乱。李存勖一想确实也是，迅速地写下了谕旨，派人去下达诛杀的命令。
