642年,皇太子李承乾不学无术,引起了朝廷内外的忧虑,李世民听到一些闲言碎语后派魏征去辅佐皇太子,任命魏征为太子太师,但此时的魏征也以身体抱病为由推辞,李世民下召回答说:"汉朝的太子以四老为辅佐,我现在让你去辅佐太子也是这个道理,知道你患病,但你是唯一可以保全太子的人"。
在643年,魏征逝世,李世民伤心欲绝,废朝五天,将魏征追赠为司空,并下旨厚葬了魏征,李世民还召文武百官出城相送,并亲自为魏征刻写碑文,在魏征死后,李世民经常对身边的人说:以铜为镜子,可正衣冠,以古为镜,可知兴衰,以人为镜,可明得失,现在魏征去世,我少了一面镜子,由此可以看出,魏征为李世民心中的地位!