诏书一到李嗣业就率军上路，并和众将割破手指，歃血为盟："我们路过的地方，一定要秋毫无犯，甚至一草一木都不能毁坏。"他到达凤翔后，拜见唐肃宗，唐肃宗高兴地说："现在有你统兵，胜过有几万军队。讨贼能否成功，朕就全靠你们了。"于是下诏命李嗣业和郭子仪、仆固怀恩配合行动，征讨安史叛军。在平叛过程中，李嗣业常常担任先锋，大发神威，叛军遇他必败，后升任四镇、伊西、北庭行军兵马使。
唐军和叛军较量了一年多，几经挫折起伏，逐渐稳定了局势，于是身在凤翔的唐肃宗决定收复长安。757年九月，李嗣业跟随天下兵马大元帅广平王李豫前往收复长安。当时李嗣业率领前军，兵马副元帅郭子仪率领中军，王思礼率领后军，共统15万大军，声势浩大，进逼被安禄山叛军占领的长安。
大军到达长安城西后，在香积寺北面沣水东岸列阵。而10万叛军在北面列阵。叛军将领李归仁率领精锐骑兵出阵挑战，唐军派骑兵出击，逼近叛军阵中时，叛军突然一齐前进，唐军退却，叛军乘机突进，唐军一时阵形混乱。
眼看唐军处于下风，且有溃败之迹象，这时李嗣业对郭子仪说："今天如果我们不拼死力战，全军就会彻底溃败。"于是他就脱去盔甲，袒露上身，手执长刀，天神般冲向敌阵，狂啸着奋勇杀敌。被李嗣业大刀砍中的，人马具碎。李嗣业接连杀死数十人后，唐军的阵形又恢复严整。然后李嗣业率领前军两千步兵各持长刀、长柄斧，排成横队，如一堵墙一样大力向前推进。
