越来越多的百姓啸聚山林，揭竿而起。而对杨广不满的贵族们也在再三思虑之后与杨广撕破了脸皮。
首先对杨广说不得人是关中士族的灵魂人物杨素的长子杨玄感，他趁杨广再征高句丽时中原及长安相对空虚，在黎阳起兵，一时"公卿达官子弟奔者如流"。
然而杨广集结大军等的就是第一个反对他的人，但是杨广没有料到的是，镇压杨玄感后，贵族沉寂了一阵，农民起义越如星星之火，越烧越旺。尽管此时的农民军仍是小打小闹，无力与隋军主力作战。但杨广却匆匆南下江都，放弃了他关中及洛阳地区。
没有了杨广的弹压，关陇贵族也不再掩饰自己的私心。617年，关陇贵族后裔的李密主导的瓦岗寨和关陇贵族支持的李渊相继起兵，割据一方，众多关陇世族纷纷加入其中。
南下江都的杨广眼见大势已去，日渐消沉，意志完全崩溃，整日颓废不堪，终于宇文氏的远支旁系宇文化及指示军队冲进离宫，将他缢杀了。
杨广死后，在关陇贵族的支持下，李渊创立了唐朝，经过数年战争终于再次一统天下。关陇集团在唐初再次焕发出新的生机。
