在张居翰小的时候日子并不是很好，自己从小就家境贫寒，在咸通初年的时候就被张从玫收为养子了，之后跟随他净身进宫后面踏上了太监的生活。张居翰从小就很聪慧自己的头脑十分机灵，他的机灵深受唐僖宗的喜爱，慢慢的就晋升为容南护军判官。
可见他深受唐僖宗的信任而且这种信任一直延续到唐昭宗年间。张居翰当时领命前往幽州来负责这个地方的督军，与当地的节度使刘仁恭相见恨晚一见如故。两个人很快的结交为至亲好友，一直到张居翰已经到时间回朝复命时，刘仁恭与张居翰不舍得分别。于是刘仁恭在这种情况下便大胆向皇上提出请求：希望让张居翰可以长期驻扎在幽州地界这里。当时刘仁恭的地位和权利是比较大的，于是皇上很快地就答应了他的请求。
就这样张居翰便一直留在了幽州与刘仁恭作伴。一直到903年的时候朱全忠与崔胤架空了当时的唐昭宗并将朝政大权揽于手中。因为这两人十分仇视太监于是就假意上书给唐昭宗，让唐昭宗召回天底下所有的太监，并准备将这些太监全部斩杀，当时一个没有实权的皇帝只能任由这两个人摆布了。当刘仁恭接到这个消息后，直接杀了一名罪犯就上报给朝廷了，私下面悄悄地把张居翰藏了起来，于是从此张居翰过上了他的隐居生活。
时过三年的刘仁恭受到了朱温的攻击。当时输掉了战争的刘仁恭当然十分焦急，一位作为好友的张居翰为他提出了十分宝贵的计策：联合攻击。张居翰说如果一个人的力量是无法拿下朱温的，那我们就集众人之力来解决。这个"众人"最好的选择是晋王。于是刘仁恭就派遣自己好朋友张居翰与晋王来商议合作这件事。
后来在唐庄宗在任的时候，李嗣源突然发生了叛乱。听到这个消息的唐庄宗十分的生气，为了增加自方的士气，他于是就决定御驾亲征。在唐庄宗出发时有人就给他献计说：现在李嗣源势头非常的猛，皇上您如果御驾亲征是可以的。但是现在您的太子也并不在宫中，如果这个时候王衍一族趁机也发生了叛乱，这个国家都更危险了。皇上听了之后为了杜绝这种事情，于是下了一道圣旨"王衍一行，并宜杀戮"。
等到这个政令到了张居翰手中的时候，张居翰有些于心不忍传这道圣旨，他觉得对这样对待已经投降的王衍是不太妥当的行为。于是张居翰自己偷偷的将"行"字改为了"家"字，王衍加上稍微有些关系的人至少有千余，如果对这些人赶尽杀绝的话就会死掉很多无辜的人。等到张居翰改了这一个字后轻而易举地救下了许许多多无数人的性命，深受被救的那群人的感激。
