公元621年，李世民率兵攻打王世充，窦建德前来援助，王世充战败被生擒，魏征在这个时候再次入唐，成为了太子李建成的部下，此后在东宫担任闲职。从此以后，魏征和太子李建成的命运绑定在了一起，魏征当时最先察觉到了李建成和二弟李世民之间水火不容的局势，替李建成非常担忧。
因为当时的李世民，可以说是战功赫赫，立下汗马功劳为李唐江山，李世民平定了窦建德以后，他的部下刘黑闼（ta）重新起兵控制的河北一带。魏征建议太子起兵去镇压刘黑闼，来巩固太子的地位。
李建成不负众望，武德五年，带兵前往镇压刘黑闼，平定了山东地区。只不过李世民的功绩远远不是李建成一战所能弥补的，后来李世民的功绩越来越多越来越高。
魏征作为李建成的手下，自然需要替主子着想，曾多次出谋建议，李建成对李世民及时下手，消除后患，只可惜没有等李建成反应过来，武德九年，李世民就发动了历史上最著名的玄武门之变，杀掉了自己的大哥李建成和四弟李元吉，夺得了太子的位置。
