都说乱世出英雄，杨行密所处的时代，就是标准的乱世，期间，先后爆发了王仙芝和黄巢起义，大唐的江山早已摇摇欲坠。唐僖宗乾符年间，江淮地区也是叛众群起，杨行密也被裹挟其中，成为江淮义军中一员。但是，由于寡不敌众，杨行密所在义军被击溃，所行密被捕。刺史郑棨因为他相貌奇特，于是解开他的绳索，将其释放。
之后杨行密应募为州兵，戍守朔方（今宁夏灵武），不久提升为队长，守边期满返回。当地军吏非常讨厌他，要他再次出戍。杨行密一恼就斩下军吏的首级，携带而出，趁此起兵为乱，自称八营都知兵马使。刺史郎幼复弃城逃走，杨行密于是占据庐州（今安徽省合肥市）。唐中和三年（883年），杨行密被唐廷招抚，被封为庐州刺史。
唐光启三年（887年）四月，淮南都将毕师铎在扬州发动兵变，囚禁淮南节度使高骈，杨行密欲救高骈却不能进入扬州，屯军于蜀冈。毕师铎率兵数万攻打杨行密，毕师铎大败，单骑逃回扬州城，并杀死高骈。杨行密进攻西门，毕师铎逃奔到东塘，杨行密于是进入扬州。文德元年（888年）三月，孙儒攻陷扬州，于是杨行密退到庐州。唐龙纪元年（889年），杨行密攻下宣州，唐朝拜杨行密为宣州观察使。
