李密战败后他曾短暂投降唐朝，但是很快，他又成了窦建德的俘虏。但是窦建德还算识才，封赏他为起居舍人，负责记录行军战事与国家大事。然而，官没当多久，他就又被李世民所俘虏，重新回到唐朝怀抱。这次，他加入了李建成的麾下，并受赏成为了太子洗马（教太子文理，政事的官职)。在玄武门之变后，李建成、李元吉被斩，李世民感叹于魏征的高风亮节和博识才学，不忍杀他。并赦免他的全部罪过，封他为正三品官员，詹事主簿。
为了展示自己的明君身份，不管魏征如何直言不讳，李世民都一一虚心采纳，并称其为自己明得失的"镜子"。当魏征去世后，唐太宗曾一度痛哭流涕，怀念魏征的功绩，并将他归入凌烟阁二十四贤臣中，永世牢记他的功绩。然而，本因是贤臣良主的二人，却在魏征死后发生了一些小矛盾。这些小矛盾甚至使得唐太宗愤怒的推倒了他的墓碑。那为啥一代明君李世民会这样做呢？其实，归根结底，其实是魏征犯了这两条大忌。
1. 魏征挑战李世民的底线。魏征直言进谏是出了名的，他知道唐太宗以明君自居，便多次当着众臣的面来揭李世民的短。一次，群臣请李世民去泰山封禅，李世民也有些意动，唯有魏征对此极力反对，他劝谏也就罢了，还在席间疯狂讽刺李世民爱慕虚荣，让李世民有些下不来台。但这并不是李世民恼怒的原因，毕竟自己一向以明君示人，忍一时风平浪静嘛。
