之后，魏征与李绩驻守于黎阳。但不久后，黎阳却被夏王窦建德攻陷，魏征不幸被俘。无奈之下，魏征只好暂时投降了窦建德。
公元621年，窦建德惨败于虎牢关，而魏征趁此机会脱离了夏国阵营，重回大唐，并为太子李建成所收留，被任命为太子洗马。当时，魏征见秦王李世民功劳太大，因此屡次劝李建成早做打算，诛杀李世民。然而，优柔寡断的李建成并未听从。
可以说，魏征的前半生，都是在"言不听，计不从，谋不用"中度过的。然而玄武门之变后，魏征的命运却迎来转机。
玄武门之变后，李建成被杀，魏征被秦王府士兵押到李世民面前。于是，李世民傲慢地审问魏征：
"你为何要离间我的兄弟，你找死吗？"
