在年少时，他就通过父亲的恩荫而入隋朝为官。通过一段时间的观察，隋文帝杨坚对李百药的才华非常欣赏，于是将他任命为太子舍人，兼东宫学士。这就相当于是太子杨勇的伴读和学者，前途一片光明。然而，在当时杨勇和杨广的夺嫡之争十分惨烈，李百药既受到杨广的打击，也受到拉拢。
食君之禄，忠君之事，李百药不可能接受杨广的邀请，背叛太子，可也因为太子一系的节节败退而心灰意冷，于是提出了辞职还乡。尽管他后来又出仕，也曾受到了杨素、牛弘等人的照顾，但总的来说，在隋朝已经过得极其不如意。
隋末大乱后，隋炀帝在东都遇害，天下纷争不断，也让将李百药卷入其中。他先后跟随沈法兴、李子通、杜伏威，参与了农民起义。当时他已经看到唐朝必胜的局面，力劝杜伏威投降唐朝。杜伏威本来都已经接受了他的建议，在去长安朝见的路上又突然反悔，并下令毒杀李百药。
