前文有提过宦官专权这一现象在中后期的唐朝已成惯例，当时的君主唐昭宗自然也是看得明白。自天复元年（公元901年）年开始，昭宗将将即位，为了打击宦官的势力，开始对宦官进行大力清洗。张居翰本也在清洗之列，是在节度使刘仁恭的保护之下隐居幽州，躲过了这场厄运。
而后在天佑三年（公元906）年，朱温率兵攻打刘仁恭所在辖区的沧州，刘仁恭无奈只能向太原的李克用求救。张居翰感恩于刘仁恭的帮助也尽己所能，为其筹谋献策。李克用见识到了张居翰的才华，自此以后张居翰便跟随李克用身后，在其出征后打理后方。
同光元年（公元923年），李存瑁终于灭掉后梁建立后唐，张居翰也因其功劳甚大获封枢密使，与丞相郭崇韬一起权倾朝野。可张居翰一直十分低调，从不仰仗权势做出格之事。也使得十分痛恨宦官的郭崇韬也对其没什么意见。
而后的同光三年（公元925年）正月，李存瑁令太子与丞相征伐后蜀，后蜀自知不敌于是痛快的投降。李存瑁大喜，决定厚待后蜀国君王衍。所以王衍本在投降之后的同光四年（公元926年）率宗族旧臣迁入洛阳，但是在随后的4月， 魏州大乱。
