尽管李渊起兵之事做得很保密，但王威和高君雅也慢慢察觉出来了一些问题，两人发现李渊在重用一些隋朝的叛臣，这其中包括刘弘基、长孙顺德等人，两人一致认定李渊有问题。
同年五月，一位名叫刘世龙的乡长向李渊告密说："王威和高君雅已经知道你的意图了，准备举行祈雨仪式之际，除掉你。"于是李渊决定先手下为强，设计将王威和高君雅杀掉，自此李渊正式起兵，这一天是公元617年五月十五日。
为了避免树大招风，李渊一开始并没有打着反隋的旗号，而是以"废昏庸的隋炀帝，立代王杨侑"作为自己的旗号，在乱世挟天子以令诸侯方是上策。
在出征长安前，李渊为了防止自家后院起火，他非常谦卑地给李密写了一封信，信中李渊把李密夸得心花怒放，以此来麻痹李密。同时他又派人去稳住突厥人，安排李元吉镇守后院太原。
一切安排妥当后，李渊带着长子建成、次子世民率军三万余人向长安进发，先后攻破霍邑，击退屈突通部，占领永丰仓，为了笼络民心，李渊与百姓约法十二章，在唐军攻入长安后，老百姓载歌载舞迎接唐军。
李渊攻入长安后效仿曹操拥立杨侑为帝，隋炀帝在江都被杀后没多久，杨侑禅位于李渊，公元618年，李渊正式登基称帝，建国号"唐"。
