杨素去世之后，杨玄感便继承了父亲的爵位，但杨玄感在心里怨恨这个杀父仇人杨广，而加上杨广即位之后，荒淫无度，对大臣也是百般猜忌，杨玄感看着朝中大臣一个个被皇帝处死，他心里感到十分不安，于是，暗中计划造反废帝。
609年，杨广带兵攻打吐谷浑，班师回朝，路过山谷。当时随行官员都疲惫不堪，松懈防守，而杨玄感想借这个机会动手。他的叔父杨慎劝阻了他，并对他说："现在皇帝的地位还很稳固，没有垮台的迹象，你不要胡来。"杨玄感听后，才作罢。
到了公元613年，杨广第二次远征高丽，而杨玄感被委任押运粮草。此时全国农民起义不断，战争频繁，杨玄感见国内兵力空虚，认为这个时机已经到了，就联合李密等人起兵造反。
当时，杨玄感委任李密当他的军事，而李密为他提供了三条进攻方案，算是上中下三策。但是杨玄感听完之后，对李密说："你说的下策，在我看来才是真正的上策，现如今大臣们的家眷都在都城洛阳，如果不进攻它，怎么让世人知道我的实力？而且这样重要的城池，对我们也有很大作用。"李密听后连连摇头，他自知无法阻止杨玄感，便感慨道："玄感好反而不图胜"。
