公元729年，李怀光出生在渤海郡（今吉林敦化）的一个军人世家中。他的父亲李嘉庆是当朝的朔方将军，为李唐皇室立下赫赫战功。自小李怀光就修行武艺，在军人家庭的影响下早早投身于军旅生涯。
李怀光凭借一身勇武过人的本事在战场上功绩显赫，没多久就得到了朔方节度使郭子仪的器重。上元年间，官职飞升，担任朔方军都虞侯，永泰初年被封爵位，名震三军。
大历七年（公元772年），已经兼任御史中丞的李怀光又兼任了御史大夫、升任军都虞候。虽然官居高位，功绩丰硕，他依然保持着清简勤奋的本质。
在军人世家培养出的素质让他治军非常严格，哪怕是亲信朋友违反条例都要严格惩戒，据《新唐书》记载"勇鸷敢诛杀，虽亲属犯法，无所回贷。"这让他的军队戒律森严，战力强盛，被各个将领连连称赞。
