最后李建成和李元吉算计好，利用突厥犯境李元吉主动请缨挂帅出征要求调秦王府勇将程知节（即隋唐小说和评书里的程咬金）秦叔宝、尉迟敬德三将一起出征，目的就是抽调走李世民身边的勇将然后太子在京城趁机解决掉李世民。当然李世民这方面也起了轰动，李世民的大舅子长孙无忌与后来的贞观名相杜如晦、房玄龄均劝李世民先下手为强杀掉太子建成和齐王元吉，毕竟李建成和李元吉是李世民一母同胞的亲兄弟，李世民不忍骨肉相残再三犹豫，最后尉迟敬德和张公谨坚定了李世民杀掉太子的决心。就这样626年六月初三李世民密奏李渊，说太子建成和齐王元吉淫乱后宫与张抒婕、尹德妃私通，李渊当时表态让他们兄弟三人六月初四进宫当面对质。
六月初四，李建成与李元吉走到玄武门外发现平时的玄武门屯卫将领常何不在，（因为玄武门屯卫总领常何是太子亲信，而这时应该已被李世民收买）便调头想回东宫，这时李世民率长孙无忌、独孤彦云、公孙武达、尉迟敬德、侯君集、张公谨、刘师利、杜君绰、郑仁泰、李孟尝九人伏击李建成，李世民亲自一箭射中李建成咽喉，李建成当场毙命，也许是想起了幼年时李建成对自己的抚育之恩，或者毕竟是亲大哥血脉相连，李世民在射死李建成之后坐骑突然失控，而以李世民的久经沙场居然慌张的忘了驾驭坐骑，以至于坐骑被树干挂到，李世民摔下马来，而摔得地方却刚好是李元吉旁边，李元吉趁势捡起李世民射死李建成的弓，想用弓勒死李世民，这时尉迟敬德从李世民身后赶来一箭射死李元吉，才解救了李世民。
随后太子东宫将领薛万彻、谢淑方、冯立听闻太子被困玄武门急率两千将士前来救援，此时玄武门已闭，张公谨颇有勇力一人独自拒门，此时的玄武门禁军总领已换成李世民的手下敬君弘和吕世衡，二人匆忙集结禁卫军与东宫将士对抗，后来眼看东宫将士就要攻破玄武门。此时尉迟敬德已经率军向李渊逼宫，称李建成和李元吉阴谋造反已被秦王诛杀将李建成和李元吉的首级丢在李渊面前，李渊此时已经彻底明白了，自己最不想看到的事还是发生了，但是也只能这样了，于是下诏让东宫人都散去，尉迟敬德将建成、元吉首级给东宫将士示众，东宫将士立刻哄散而跑，冯立为李建成报仇怒杀敬君弘和吕世衡，后来薛万彻、谢淑方、冯立等东宫旧将都被李世民所赦免，薛万彻更是娶了李世民的妹妹成为驸马都尉，三人除薛万彻最后晚节不保被长孙无忌定上了造反的帽子被处斩之外，谢冯二人均成为贞观时期一代名将，成为后世武将的典范。东宫幕僚魏征等人也均被赦免，魏征而且后来还成了贞观名臣，也是历史上有名刚正不阿的谏臣，和李世民建立了很深厚的君臣友谊。
随后李渊下诏封李世民为太子，两个月后李渊退位为太上皇，让位李世民即唐太宗，李世民由此开创了"贞观盛世"。
