别看玄甲军只有一千多人，可他们是精锐中的精锐，都是经过精挑细选的，因此无论是个人身体素质，还是马匹武器装备，都属于当时第一流的。史书记载，每次作战的时候，李世民亲自上阵，他也披着玄甲，然后率领玄甲军作为前锋，“乘机进击，所向无不摧破，敌人畏之”。在李世民征战的过程中，玄甲军犹如一柄利刃，直刺敌军的心脏。
620年七月，李世民奉命率军出关，征讨割据河南洛阳一带的王世充。有一次，行台仆射屈突通、赞皇公窦轨领兵巡查营寨，突然遭遇王世充的军队，双方发生战斗，结果唐军失利。李世民闻讯后，亲率玄甲军前去救援。玄甲军以少胜多，迅速扭转了战局，大败王世充，“获其骑将葛彦璋，俘斩六千余人，世充遁归”。
之后，唐军包围洛阳城，王世充急忙向割据河北的窦建德求援。窦建德自恃兵多将广，亲率大军来援，“合十余万，号三十万”。李世民留下李元吉围攻洛阳，自率“骁勇三千五百人东趣武牢”，其中就包括玄甲军。在虎牢关之战中，玄甲军再次发挥关键作用，李世民率领“史大柰、程知节、秦叔宝、宇文歆等卷旆而入，出其陈后，张唐旗帜，建德将士顾见之，大溃”。
李世民乘胜，“追奔三十里，斩首三千余级”，还生擒了负伤的窦建德，威震天下。经过这场战争，奠定了唐朝统一天下的基础。后来，李世民还率领部分玄甲军的精锐，发动了玄武门之变。李世民称帝后，他将玄甲军进行了调整，一部分编入禁军，名为“百骑”，另一部分继续征战沙场，还参与了对突厥的作战。
