而李怀光的祖先，原本是靺鞨族人，他的父亲担任朔方军将领，因此被赐予国姓李，而李怀光也从小参军，得到了朔方节度使郭子仪的赏识。更是以勇猛善战，武艺高强而闻名。"怀光少从军，以武艺壮勇称。"
而在成年后，李怀光凭借积累下的战功，节节高升，郭子仪开始放心的将军中事务交给他打理，等到唐德宗继位，郭子仪被免去了节度副元帅的职务，而李怀光也分到了郭子仪继承下来的一部分土地，出任中尹、邠州刺史等地刺史，而李怀光也长期在长武驻军，扼守唐帝国西方要道，导致吐蕃从此不敢向南入侵，成为了唐德宗十分依赖的一股军事力量。
而到了780年后，唐朝各地节度使，相继发生叛乱，朝廷急忙命令李怀光进行征讨，然而叛军势大，唐德宗为此逃到了奉天，李怀光听闻后，火速勤王，并且带领部队在醴泉打败朱泚的骑兵，解救了唐朝宗室的燃眉之急，收复了大量失地。而在此之后，李怀光彻底成为了朝中掌权的重臣。
然而在此期间，他却愈发的自傲，此时天下依然纷乱不已，大帝在外，李怀光却依然上书，要求将唐德宗周围的大臣卢杞、赵赞等杀害，并坚持称他们都是逆贼。否则自己就不再进兵。
