然而内心受到创伤的李承乾过于顽劣，不听老师的话，教学没有取得一丁点儿的效果。杜正伦作为老臣自然受不了这个委屈，一气之下就说出了唐太宗让他注意自己的言行举止，否则就可能会废除的话。
李承乾听了十分生气，于是上奏为自己辩驳。唐太宗知道是杜正伦这样做之后大怒，就把他给贬谪了。从此可以知道，唐太宗在李承乾残疾之后，他依然没有打算放弃过他。相反，他是在背后对其默默支持着，他希望他能一如既往地好下去。只要他的品行依然端庄，形象并不影响他当继承人。当时就有大臣提出让唐太宗换掉太子李承乾，不过唐太宗说太子只是行动不便而已，其能力终究还是堪担大任的。唐太宗执意要立李承乾为储，可见唐太宗对李承乾的器重。
然而，唐太宗的良苦用心，李承乾算是没有领悟进去了。加上唐太宗派去教导的那些老师，大都有着倚老卖老的性子。当他们看到本来被人给予厚望的太子，变得冥顽不灵时，他们也很铁不成钢。所以就经常对其言行打击，而没有对其安抚，这让李承乾很是受伤。
贞观十七年（公元643年），积怨太深的太子李承乾终于打算造反。当时他与汉王李元昌、城阳公主的驸马都尉杜荷、侯君集等人勾结。打算先下手为强起兵逼宫，结果事情败露。而唐太宗获悉此事后，对李承乾有种很铁不成钢的心态。
