仁寿四年(公元604年)，杨广趁隋文帝病重，与杨素同谋，派亲信张衡杀害隋文帝，登上了帝位，改元大业。杨广即位后，为了巩固其统治地位，大搞党同伐异，对亲信和死党一律加官晋爵，提拔重用。杨素在废立太子及杨广称帝问题上出了大力，因而被任为尚书令。杨素的弟弟杨约先，被任为京师留守，不久又被提升为内史令。宇文述、郭衍、张衡等人都升了大宫，烜赫一时，谁都不敢得罪他们。杨广对那些曾经反对过他的大巨，不管其功劳和才能如何，一律狠狠打击。他从岐州(今映西凤翔)仁寿宫回到长安大兴城后，立即宣布把柳述、元岩罢官免职，一个流放到龙州(今广东惠阳县东)，一个发配往南海(今广东广州市)。
高颎是隋朝的开国功臣，文武兼备，威望甚高，隋文帝对他十分信任。杨广伐陈时，高颎担任元帅长史。一切军机大事，他都参与决策。杨广想把陈后主最宠爱的妃子张丽华攫为己有，高颎却认为这样做影响不好，留下这女人是个祸害，就把她杀了。杨广因此怀恨在心，就以"诽谤朝政"的罪名，杀了高颎，薛道衡在讨论一项新的法令时，多了一句嘴，说:"假如高颎在世的话，恐伯这项法令早已决定，并付诸实施了。"杨广借口这是为高颎评功摆好，想要谋反，把薛道衡也判处死刑。
