就在民众武装反抗隋炀帝的残暴统治愈演愈烈时，隋统治阶级内部也随之分崩离析。杨广的表兄李渊目睹兵戈扰攘、天下不安的局势，也逐渐酝酿出叛隋的思想。特别是农民暴动大发展，已呈星火燎原之势，直接促进了他将叛隋想法付诸行动。
大业十三年（617），李渊起兵反隋，史称"晋阳起兵"。李渊发动叛乱后，一面派谋士刘文静出使突厥，请求突厥可汗出兵马相助，一面招兵买马，训练士卒，并于当年七月挥师南下。
李渊率军南下时，恰逢李密领导瓦岗军与困守洛阳的王世充鏖战正酣，无暇顾及其他，李渊乘机捣入关中，如入无人之境。随后，李渊全取关中。
公元617年11月，李渊率军攻入长安，将关中一举囊括，并逐渐站稳脚跟。
