史书《新唐书》、《旧唐书》有记载到，其实李世民一直是不太信任李绩和李新的，这两人都在李世民发动玄武门之变时保持了中立的态度，并没有表明态度站在李世民这一边。两人每天都生活的十分谨慎，毕恭毕敬的，生怕稍有差池，便引来杀生之祸。
并且李绩此人也并非全心全意地效忠唐高宗李治。在历史上，唐高宗李治想要废掉皇后，转而立武则天为皇后。当时朝中的不少大臣都表示反对，极力阻止。然而李绩却依旧保持中立的态度，并没有表示反对。李治曾私下问过李绩，觉得他要立武则天为皇后此事是否妥当。而李绩却不表明观点，含糊地说此事是李治的家事，他无权说些什么。李绩保持中立的做法不仅仅保全了自己的性命，也在无形中将武则天推往高处。
与李绩想必起来，李靖同样也是活得战战兢兢，好几次稍有不慎便性命不保。李靖有一次身体抱恙，无法出征。而李世民却怀疑他是在装病，故意不想出站，变想着各种方法试探李靖到底是真病还是假病，就是想让李靖出征。而且从史书的记载上来看，李靖的封邑很少，远远不如其他大臣的封邑多。
