不过虽然他是属于忠心于李密，但是毕竟是在李渊的阵营里，所以对这个大的阵营他也是选择忠心，但是他们想到自己最亲密的主子李密竟然眼界如此短浅，竟然再一次反唐，这无异于自寻死路，因为无论是从哪一方面来讲都是毫无胜算的，对此他除了心疼与惋惜之外，做不了其他。这下他就只能选择忠心于李渊，不过介于自己与李密的感情，最后他还是将对方埋葬，他这个举动也让李渊大为赏识。
到了李世民时期，他已经是开国功臣，官居高位，但是作为一个皇上，必须考虑到其他人没有想到的地方。所以当时在他临终前就开始为儿子铺路，就重要的臣子，未来能够帮得到儿子治理国家的保护起来，所以他将对方流放边远地区，同时也是对其的一个测试，一旦对方出现犹豫或者抵触情绪，就会直接将其除掉，以免之后妨碍儿子。如将来，儿子继位的时候，将其调回来，这样就会让对方心怀感激，就会全力以赴的辅佐新皇帝。
