之后因为内乱的原因，唐昭宗让他和幽州的节度使刘仁恭共同管辖幽州，因为张居翰为人不拘小节，办事公正，两人很快就成为了好友。
（904年）朱温因对太监不满开始大肆屠杀，而刘仁恭对张居翰下不了手，将他送进深山老林隐藏起来。自己找了个死刑犯来替他，而张居翰也因此逃过一劫。
（906年）张居翰投奔于李克用，别看张居翰是个太监，打起仗来也不含糊，在攻打朱温的时候屡建奇功，之后被李克用留在了身边，等李克用死后，他的儿子也就是唐庄宗封张居翰为枢密使。
（923年）唐庄宗攻打后蜀，蜀王王衍虽奋力抵抗，但因遭奸人所害最终还是败了，唐庄宗要求王衍带着文武百官来洛阳投降，便可可饶他们不死，王衍没办法只能选择投降，但后来后唐发生了内乱，李嗣源起兵造反，因要去魏州镇压叛军，国内势必空虚，生怕王衍有什么想法，于是决定在出征前将他满门抄斩。
