这段历史在《旧唐书 李百药列传》写得十分详细，杜伏威使用的凶器是一种石灰酒，企图将李百药鸩杀。结果，李百药也确实喝了酒，却因为得了痢疾迅速派出，过了一夜居然毫发无损。（乃饮以石灰酒，因大泄痢，而宿病皆除）
尽管李百药劝说杜伏威降唐，却还是让唐高祖李渊起了疑心，差点要杀了他。虽然在澄清了事实，唐高祖还是不重用他，终武德一朝，李百药就被流放到泾州。直到唐太宗时，他才被任命为中书舍人，奉旨来到长安。
李百药给唐太宗写了《封建论》等书，让唐太宗佩服得五体投地。而且他的诗文，华美而深刻。唐太宗曾经写信问过他：为什么你已经垂垂老矣，智慧和才能却当盛年？为什么你的牙齿都掉了，文章的思想却如此有深意？
对于这样的长者，即使年纪已经很大了，唐太宗仍然舍不得独享。他将李百药任命为太子右庶子，专门辅佐李承乾。这位太子起初表现得还不错，后来却耽于享乐，李百药多次劝诫，他却置若罔闻，最终被废。太子被废，皇帝一般都会将怒火发泄到东宫属官身上，认为是他们不尽责。然而对待李百药，唐太宗却没有一句怨言。
只不过李百药认为自己身体衰老，不愿意在卷入是是非非之中，主动提出辞职。贞观二十二年，他病逝于长安，享年85岁，也算是有惊无险地度过了一生。
