大业十三年（617年），起兵反隋的人越来越多。晋阳作为军事要塞，历来是兵家必争之地，因为这里兵力充足、粮饷丰沛。当时有一支人数多达十几万的农民起义军，队伍在晋阳的南部安营扎寨，使得上党、西河、京都的道路断绝，并多次打败隋军。李渊恰好在那一年被任命为晋阳留守，为了树立自己的威信，他巧施妙计，最终打败了起义军。在这之后，晋阳一带的官僚地主、富商豪士，以及晋阳令刘文静、晋阳宫监裴寂、右勋卫长孙顺德、右勋侍刘弘基、左亲卫窦琮等人纷纷前来投靠李渊父子，使他们在晋阳的地位得到了进一步的巩固。
此时，隋炀帝所在的江都被孤立了，隋王朝的统治已经奄奄一息。李渊有四个儿子，次子李世民那年刚满十八岁，他是个很有想法的年轻人，一直都在积极地反对隋炀帝的暴政，平时很乐于和有才能的人结交，拥有很多朋友。晋阳令刘文静便是其中一个，他十分看重李世民的才干。刘文静跟李密是亲戚，在李密起义之后，隋炀帝便下令捉拿李密的亲友，刘文静受到牵连被革职关在监狱里。李世民前去探望时，刘文静语重心长地对他说："现在天下大乱，正是打天下的好时机，机不可失，时不再来啊。"李世民回到家后，想到大势已去的隋朝，又想了想刘文静的话，觉得很有道理，心里便有了起兵的计划。李世民很想如实告诉父亲，但是又有些担心他会反对。恰巧此时，突厥进攻马邑，李渊派兵抵抗，却屡屡败北，一旦此事被隋炀帝知道，李渊一定会被兴师问罪。李世民抓住这个机会，将自己起兵反隋的计划告诉了李渊。李渊听后大吃一惊，连连摇头，脸色苍白地说："你怎么敢这么想，这可是大逆不道啊！"李渊再三叮嘱儿子以后不要再说这样的话。
但是李世民并没有死心，他为了说服父亲，又去找另一个好朋友裴寂帮忙，一起商量应该如何行事。裴寂心生一计，他利用职务便利，在晋阳宫中挑选了几个美女，把李渊灌醉之后，让美女们陪李渊过夜。第二天，裴寂对李渊说："让宫女侍奉过夜已经触犯了宫中的律法，如果让隋炀帝知道的话一定会被杀头的，与其坐等被杀，不如下定决心起兵吧！"李渊左思右想，长叹了一声说道："罢了，罢了，事已至此，我别无选择。"最终答应了起兵。李渊把晋阳令刘文静从监牢里面放了出来，让他协助李世民，一边招兵买马，一边假借隋炀帝的名义下了一道公文：晋阳、西河、马色、雁门各地百姓，凡年龄在二十岁以上、五十岁以下者皆征发为兵，东征高丽。这道命令一下，百姓议论纷纷、怨声载道，反叛的火苗愈发高涨。
