随后机会来了，隋炀帝第二次御驾亲征高丽，他委任杨玄感督运粮饷，他利用这个机会，故意拖延运粮，希望隋军粮草跟不上，以便隋炀帝的军队陷入混乱被高丽击败。隋炀帝派人来催，他的答复是：水路和陆路都被盗贼截断，粮食运不过来。与此同时他又派人悄悄地召回跟着隋炀帝出征的弟弟杨玄纵。等到其弟杨玄纵等人回来后，他便正式宣布起兵。
当时他的谋士李密为他出了上中下三策：上策是进兵东北，拦住隋炀帝的归路，让高丽人将他擒获。中策是攻打长安，以长安为根据地。下策是攻取洛阳，号令天下反隋。在这三策中，杨玄感选择了下策。他认为只要控制住大隋的都城洛阳就可以号令天下了。一开始，颇为顺利，许多人都来投靠他的军队，甚至许多贵族子弟也纷纷来投靠，他的势力迅速壮大起来。
杨玄感造反后，隋炀帝放弃了攻打高丽，急忙带兵回国。他命陈棱攻打杨玄感的老巢黎阳，随后几路大军进攻洛阳，杨玄感受到了前后夹击，连连败退，最后放弃洛阳，转而进攻长安。大军走到弘农宫，杨玄感打算夺取弘农宫，但是久攻不下，只好向西逃窜，又陷入隋军的包围，连遭大败，身边追随他的人越来越少，最后只带了几十个骑兵突围而去。隋军继续追击，到了最后杨玄感的身边仅剩下弟弟杨积善，眼见追兵已到，他对弟弟说："我不能当俘虏受辱，你将我杀死吧。"杨积善挥刀砍死了杨玄感，正准备自杀时被隋兵擒获，隋炀帝命令将杨玄感兄弟两人的头砍下来示众。随后杨家被灭族。
杨玄感之所以造反除了受到隋隋杨的的猜忌而害怕外，同时也有野心的驱使，他看到天下已经大乱了，好日子也快到头了，发动兵变为以后涿鹿中原捞取足够的资本。
