张居翰隐居期间遍读兵书，对行军打仗有自己独特的见解，在战场上屡立奇功，在李克用阵营中地位越来越高。也是这段从军经历，让他产生乱世人命如刍狗的感想，一直宽厚待人。
923年，李克用儿子李存勖覆灭梁国，登基称帝，封张居翰为枢密使，掌管兵马。虽身居高位，张居翰却非常低调，在朝从不表态，处世缜密，不急不躁。也正是他温厚的性格，深得皇帝李存勖恩宠。
925年，李存勖准备讨伐王衍，王衍自知不是对手，率部来降。李存勖疑心王衍是先假意投降，伺机报复。思索过后，李存勖下旨"王衍一行，并宜杀戮"，决定杀了王衍及随从千人。
张居翰认为王衍早就递交投降文书，愿意俯首称臣，即使是斩草除根，也不需要处死上千人啊。宽厚的张居翰选择篡改圣旨将一行改成一家。
没有人料到张居翰居然胆大包天敢私改圣旨，便只杀掉了王衍一家，放走了其他随从，使上千人获得新生。之后李存勖也把精力放在镇压魏博哗变一事，并未在意此事。
