李承乾后来骑马摔坏了脚，就变得很自卑，很担心太子被废。再加上当时李世民很喜欢魏王李泰，一直不肯让李泰离京就藩。李承乾就想到了谋反篡位，可是未能开始就被人告密，死在了监狱。
第2儿子也就是楚王李宽，一早就被过继给了楚哀王李智云。第3个儿子也就是吴王李恪，李恪文武双全，可就是因为他的母亲是隋炀帝的女儿，很早就被排除在了皇位的继承权之外。当李承乾和李泰都完了的时候，李世民一度想立李恪为太子，可是当时权利最大的长孙无忌坚决反对，在立了李治为太子之后，将李恪牵连进了房遗爱谋反案，李恪被冤杀。
四子李泰，因为得到李世民的宠爱一直想当太子，和李承乾是明争暗斗，李承乾死后，李泰也被幽闭起来，35岁就郁闷而死。第5子齐王李祐，就是小混混，胆子大得很，一直胡作非为，为了教导这个儿子，李世民派了权万纪去齐王府任长史。可是权万纪却被李祐派刺客给杀了，李祐怕李世民找他算账，干脆起兵叛乱，失败后被赐死。
第6子梁王李愔，当王爷的时候胡作非为，老百姓都恨他。被唐太宗给贬为了虢州刺史。没想到李愔也受"房遗爱谋反案"的牵连，被废为了庶人，死在了流放地。
