而李世民则属于关陇集团势力，从始至终李世民对瓦岗势力都有很大的警惕心，一刻也不敢松懈。虽然李勣后来为李世民效力，但是李世民对他一直都持戒心，直到驾崩前都还是不敢完全信任李勣。
李世民曾将李勣外放，然后对李治说道："如果李勣心有不满，就将他杀掉，如果他听命行事，那就可以召回来，也算是对他有恩了"。
原因之二：单雄信人品不行
单雄信虽然有勇有谋，英勇难当，是不可多得的将才。但是他的人品实在不敢恭维，历来后人对他的评价都不怎么好。瓦岗山的原始势力分别是：单雄信、李勣还有翟让，三人关系十分紧密，李密上山后，翟让认为自己能力不足，便让李密顶替了自己的位置。
