不久，魏征等来了一个立功表现的机会--因为魏征与李渊想要招安的徐世绩是故交，于是他便自主请命，前去劝降老友。徐世绩信服魏征，马上就归降了李渊。
原本一切都是在向利好的方向进行着，但世事难料，"夏王"窦建德举兵与李渊两战两胜，顺势俘虏了魏征和徐世绩等人。
窦建德早就听说魏征是个有才干的人，便命魏征担任自己的起居舍人，专职记录上司的言行举止。魏征只得听命行事，因此，窦建德算是魏征的第四位"主公"。
公元621年，大唐派李世民征讨盘踞在洛阳的王世充，吓得王世充赶忙向窦建德求救。窦建德领兵10万南下援助洛阳的王世充，却在虎牢关下被率领着3500名精锐骑兵的李世民所击溃，窦建德被生擒活捉。魏征见大事不妙，便说服了窦建德帐下的守将唐旦，一起归降了唐朝。
