但是这个李元吉，沉迷于射猎，整理不理军务。李元吉的手下还抢劫当地百姓，甚至士兵之间也时常会有互殴致死的事件发生。
这样不务正业，军心涣散，李元吉还认为自己非常有实力。当刘武周带兵攻打的时候，自信地派出一百人迎战，结果，连同领兵的将领一起投降了刘武周。
而李元吉却在这个时候，假装出城迎战，实则跑回了长安。刘武周来势汹汹，一鼓作气拿下了晋阳，李渊得知此件事后，简直要被活活气死。
晋阳陷落后，李渊担心打不过刘武周，就想要保住关西地区，大臣们也惧怕刘武周，纷纷赞同。但是，这个时候李世民站了出来，认为不能放纵这样的人，提议带着三万精锐士兵去攻打刘武周。
好在后来李世民成功收复了被其占据的并、汾二州，刘武周也不得不逃亡突厥，后来死掉了。
但是这样勇猛杀敌的李世民还是没有得到父亲的支持，李渊逐渐把天策府的属官驱逐出去，一点点削弱李世民的实力，压制李世民。
李建成这边，也开始忌惮自己的亲弟弟，从他们起义开始，各自都有了自己的大军组织，比如在帝都有太子李建成的东宫、李世民的天策府、秦王府还有李元吉的齐王府等等。
在地方，李世民以洛阳为中心，山东、陕东道大行台都在其管辖内，李建成的势力范围在河北幽州等地，李元吉则一向担任并州地方长官。
李建成觉得李世民威胁到其太子之位，便联合四弟李元吉处处针对李世民，朝廷上排挤他。李建成还让自己的妃子在李渊面前诋毁李世民，据说还曾经利用自己的爱妃给李世民下毒。
抓住时机，一举成功
李世民与李建成和李元吉之间的差距还是很大的，东宫加上齐王府的镇守士兵远远超过自己的秦王府兵。但是李世民不得不赌一把，否则就会沦为鱼肉，为人刀俎。
在发动政变之前，李世民给自己留了后路，事先派手下张亮带领天策兵去往洛阳，这样可以保证自己失败之后，可以退回洛阳。
