唐太宗临终前，出于维护帝国稳定的考虑，决定由长孙无忌、李勣共同辅佐太子李治。然而，唐太宗深知，李勣此时已经位极人臣，若李治不能再对其施加恩惠，那么他很可能不会为新君卖命，甚至凭借其过人的才智，闹出更大的乱子也未可知。考虑至此，唐太宗便将李勣贬为叠州刺史，并命他即刻上任。李治不明就里，便向其父询问贬黜李勣的原因。
唐太宗见儿子不明白他的苦心，不禁暗自叹口气，然后跟他讲道："李勣的才智远超他人、可堪大用，但你平素对其没有恩惠，恐怕难以让他真心效忠。如今我把李勣贬黜到外地，如果他立即出京，则证明他没有不轨之心，那么等到我死后，你就可以任命他为仆射（宰相）；如果李勣徘徊观望，那么就杀掉他。"李治听后，恍然大悟。
唐高宗对李勣深为倚重
李勣对皇帝的心思看得一清二楚，所以在接到诏书后，连家门都没进便赶往叠州赴任，片刻都不敢停留，唐太宗闻讯后甚是满意。不久，唐太宗驾崩，太子李治登基为帝，是为唐高宗，时在贞观二十三年（649年）五月。唐高宗遵从其父的遗命，刚继位便把李勣召回长安，并进拜他为尚书左仆射。此后，唐高宗对李勣极为器重，而后者也尽心辅政，君臣之间甚是相得。
