身为皇帝的李渊，自然对谋反的字眼比较上心，从那以后，李世民受到了李渊的猜忌，他手中的兵权也被李渊收了回去，只有在外出作战的时候才把兵权还给李世民。
虽然李渊开始猜忌李世民，但还到捅破窗户纸的时候。
有一次，李渊带领着李建成和李世民兄弟几个去打猎，在猎场上，李建成给李世民拉来了一个有问题的马，对李世民说道：二弟最擅长骑马了，这匹马很壮实，但有个缺点，就是容易跌倒，所以很多的皇子想骑而不敢骑，要不你试试？
李世民听完李建成的话，陷入了窘境，但李世民为了显示自己的能力，同时为了自己的颜面，接过缰绳翻身上马。果不其然，李世民没走多远，那匹马就跌倒了，而李世民也被摔了出去，李世民拍拍身上的土继续骑，又跌倒了两次。
