武德元年（618年），隋炀帝杨广被杀以后不久，李渊登基建立唐朝，14岁的李道玄封为淮阳王，官居右千牛卫大将军。此时的他虽有将军之名，但从未真的上过战场。
机会来的很快，武德三年（620年），年仅16岁的李道玄跟随李世民在介休大战宋金刚。虽然是第一次上战场，但李道玄勇猛异常，一马当先冲入敌军城池，连续杀死数十敌军。随后赶来的李世民对李道玄的英勇感到惊讶，战后还特意赏赐他1000段布帛。
从此以后，只要李世民出征，李道玄必定紧随左右，无论是攻打窦建德还是攻打王世充，李道玄都冲锋在前，屡战屡胜。唐高祖李渊对李道玄的英勇也特别赏识，封其为洛州总管，17岁就开始独自领军作战。
武德五年（622年）七月，刘黑闼的起义军屡次进犯唐朝领地，唐高祖李渊任命李道玄为河北道行军大总管，共率领30000大军出征。
