武德九年夏五月，李世民先发制人，秘密向高祖告发太子、齐王淫乱后宫，李渊决定次日召二子入宫诘问。次日，李世民在玄武门设下伏兵，守将常何早就暗中归附了他，因此知情不报。太子、齐王不知有变，没带卫士就入宫接受李渊讯问，经过玄武门时，伏兵突起，措手不及的太子、齐王被李世民、尉迟敬德击杀。
随后，李世民令心腹尉迟敬德全副武装入宫报告李渊。此时，李渊正和亲信大臣裴寂、萧瑀在南海池中划船作乐，他见尉迟敬德满身披挂、衣襟带血、杀气腾腾地立在岸边，不由得大吃一惊，惊骇异常。尉迟敬德禀告道，太子、齐王举兵造反，已被秦王诛灭，特派臣前来护驾，李渊一听，惊得目瞪口呆。裴寂、萧瑀早已被李世民收买，忙在旁边劝李渊将国事委托给秦王，尉迟敬德也敦促李渊赶紧下诏，以便制止太子东宫和齐王府军队的骚乱。李渊见尉迟恭凶神恶煞的模样，无奈写下"手诏"，下令所有军队悉听秦王节制，并在6月1日诏立李世民为太子。李世民斩草除根，将太子建成、齐王元吉的所有儿子统统诛戮一空，李渊目睹爱孙被屠，却无力施救，肝胆俱碎。
此时，全国局势基本已被李世民掌控，所有的军队都服从他的指挥，大臣们也纷纷表示拥护新太子，李渊成了名副其实的"孤家寡人"，无奈之下，为求自保，他再三表示愿意早些退位。八月，李世民正式即皇帝位，改元贞观，是为唐太宗。从此，李渊徙居太安宫，过着养尊处优的太上皇生活。李渊做太上皇后，心知大权已被李世民全部掌握，心灰意冷，又思念被诛戮的儿孙，从此不再干预政事。贞观九年（635）五月，太上皇李渊病故，享年71岁。谥号"神尧大圣大光孝皇帝"，庙号"高祖"。
