李怀光是渤海靺鞨族，其父亲因为获得战功而被赐李姓。李怀光自幼便参军，由于武艺高强且十分勇猛，因此得到了朔方节度使郭子仪的重视，最终在郭子仪职务被免除时，顶上了这份差事。
此时的李怀光对于本职工作可以说是尽心尽责，连续几年带兵在长武筑城用来驻扎军队，并且积极巡查与吐蕃交界地带，使得吐蕃不敢南侵。唐德宗时期，朝局十分动荡，田悦、朱韬、马燧、李抱真、王武俊均拥兵起义，皇帝下令李怀光前去剿灭敌人，结果落败。建中四年（783年）十月，泾原军队叛变，唐德宗被迫逃到奉天，此时的朱泚已然称帝，并且率领大军进攻奉天。
唐德宗下了勤王诏书，希望天下有志之士帮助自己讨伐逆贼，而李怀光是第一个响应之人。在他的不懈努力之下，才解了奉天之围。然而李怀光是个生性粗暴且浅薄自负之人，对于皇帝身边的卢杞、赵赞、白志贞十分不满。由于李怀光对于保卫朝廷有很大的帮助，唐德宗被迫只能贬黜这些臣子。
