又过了4年，公元907年，朱温正式篡夺了唐帝国的基业，自立为梁国皇帝，而李克用则保留了对唐帝国最后的忠诚，高举复兴唐室的大旗，张承业也被释放。怀着对唐帝国的忠诚和怀念，张承业重新成为了李克用的监军，开始为李克用的事业效力。但是这样的合作没有维持太久，因为仅仅在第二年，李克用便重病缠身，临终前他将儿子李存勖托付给张承业，对张承业说道，这小子就拜托你了。
关于李存勖，有一个很有名的故事：李克用临终前，把三支箭交给了李存勖，对李存勖说，我有三件恨事，到现在也不能安心放下，一个是燕国的刘守光，他是我扶植的人却背叛了我，另一个是契丹的耶律阿保机，他跟我结拜为兄弟却去支持我的仇人，还有一个就是朱温篡夺了大唐的基业。我死以后，这三个人你一定要替我解决了，来告慰我的在天之灵。这个故事的真实性无从考据，但是从侧面反映出，李克用对李存勖的期望之高。但实际上，在李克用刚死的时候，整个后唐政权内部有着很大的问题，李克用的弟弟李克宁自恃功高，对李存勖继承后唐基业有着不服从的心态，此时是张承业站了出来，联络各个手握兵权的大将，暗中防卫和监视李克宁，并且在不久之后与李存勖商议计谋，将李克宁引诱到宴会上逮捕并斩杀，稳定了李存勖的局势。
此后便是漫长的对外作战，无论是征讨燕国还是击败契丹，李存勖在外征战的时候，总是把后方的守卫大任交给张承业，而张承业发挥自己的才能，尽心尽责，把后唐所占据的山西，陕西，河北的一部分治理的井井有条，在保证粮草和军事物资的同时发展农业，稳定人心，安抚多年战乱造成的人口流失，约束权贵士族的行为，凡是又违背法令的立刻处罚，正是这种大公无私的态度和一心一意的忠诚，才让李存勖的征战毫无后顾之忧，取得了全面的辉煌。
