这个情况仅仅持续了一年的时间，李渊就开始想要收回李世民的权利。李世民被封为天策上将的第二年，窦建德旧部刘黑闼起兵，李渊派遣了太子去平叛，没有让李世民继续出征。
刘黑闼被处理之后，李渊开始帮助李建成打击李世民。李世民在天策府中有很多名将和谋士，为了让这些人离开李世民的身边，李渊逐渐的把他们调离到了外面做官。
在这期间，李世民曾经去和李建成喝酒，喝完酒之后，李世民就开始吐血，他报告李建成谋害自己，李渊只是告诉李建成秦王不能喝酒，以后不要喊他喝酒了，并没有处置李建成。
李世民的手下杜如晦被李渊的妃子家人打成重伤，李渊重重批评了李世民，还对着别人说：这个儿子在外面长期带兵，现在已经变了一个人了。
