六月，将军来护儿率领水军，将从东莱入海，前往平壤城，部队还未出发。杨玄感无法号令众人，于是派家奴装作使者，从东方来，谎称来护儿因失军期而造反。杨玄感于是进军黎阳县，关闭城门，大搜男夫。于是用帆布作牟甲，设置官署，都按开皇年间（581年―600年）的办法来办。他又送文书到周围的州郡，以讨伐来护儿为名，让他们发兵，到粮仓所在地相会。李密自长安应召至军，为杨玄感谋主。杨玄感以东光县尉元务本为黎州刺史，赵怀义为卫州刺史，河内郡主簿唐祎为怀州刺史，部众近万人。李密认为：北据幽州，断隋炀帝后路，为上策；西入长安，控制潼关（今陕西潼关东北），为中策；就近攻洛阳，胜负难测，为下策。杨玄感以下策为上计 ，将引兵从汲郡（今河南淇县东）渡河，围攻东都洛阳。唐祎到了河内，跑到东都报告杨玄感谋反之事。越王杨侗、民部尚书樊子盖很害怕，调兵防御。修武县百姓一起守住临清关，杨玄感无法过河，于是在汲郡南渡黄河，随之叛乱的人有很多，犹如街市一般。
进逼洛阳
几天之后，驻兵于上春门，人数达到十几万。樊子盖命令河南赞治裴弘策抵抗，裴弘策战败。鏶、洛的父老乡亲们竞相送牛送酒，慰劳杨玄感。杨玄感屯兵于尚书省，经常向众人发誓说："我身为上柱国，家里黄金巨万，到了既富且贵的地步，我一无所求。现在我不顾破家灭族，只是为了为天下人解倒悬之急，拯救黎民百姓的性命罢了。"众人都很高兴，到他军门请求效力的，每天都有数千人。杨玄感还给樊子盖写信，说明利害关系，希望樊子盖能归顺于他，然后率军进逼东都洛阳。
刑部尚书卫玄，率众几万，从关中来援救洛阳。卫玄用步兵、骑兵二万，渡过鏶、涧来挑战，杨玄感假装失败。卫玄追赶他，这时杨玄感的伏兵冲了出来，卫玄的前军全被消灭。几天后，卫玄又与杨玄感交战，两军刚交战，杨玄感就让人大呼道："官军已经捉住了杨玄感了！"卫玄军稍稍松懈下来，杨玄感与几千骑兵乘机进攻，卫玄军于是大败，只带了八千人逃走。
兵败自杀
