对长孙家族打击最深甚至影响了唐高宗初年政局的莫过于李世民那次看似有些冒失的换太子之议了。由于长孙皇后的嫡长子和嫡次子因为夺嫡双双被废黜，硕果仅存的嫡三子李治在匆忙间被推上了皇太子之位。虽然李治由于童年丧母被留在父亲身边抚养，但因为他性格懦弱，李世民始终对他的能力表示怀疑，甚至不久后打算用另一个被他评为"英果类我"的庶出爱子李恪替代其太子之位，这当然遭到了长孙无忌的坚决抵制和反对，最后作罢。这事看似只是一段小风波，实际上体现了李世民掩盖在热烈而重感情形象后冷酷的一面。
长孙无忌作为一位对初唐作出了很大历史贡献的政治家最后被唐高宗和武后逼死，但在史书中却没有得到同情，反而认为这是他活该遭到报应，这是因为他在高宗永徽年间执政时，故意构陷冤杀曾被太宗提名皇太子的爱子吴王李恪。导致长孙无忌心疾发作恶念起来的根本原因还是李世民试图把长孙后政治地位仅存的唯一儿子李治给踹下来。这个不地道的事是李世民亲自提出来的，李世民的出发是为了江山社稷，但损害的是长孙皇后的利益，此刻李治已经是她继承人的唯一希望。
