何进自然留不得张杨，又没有借口杀他，便派张扬回到并州，去召集士兵留在上党，平定上党的土匪叛乱。
但是，在何进被太监张让杀死之后，董卓趁机进入北京，控制了中央大权。因此，张扬率部进攻上党、壶关，但未能成功。
张杨经此挫折，但并没有消沉，而是另辟蹊径--从剿匪军变为土匪。
正规军出身的悍将张扬领导下的土匪，战斗力岂是郡国兵能抵御的。张杨的土匪大军发展迅猛，转眼就到了数千人之多。
190年，袁氏家族发起讨董联盟，召集四方诸侯。虽然张杨实际上在干土匪的事，但他从来没有放弃朝廷的官职。朝廷在一片混乱中，也没有下诏书剥夺张杨官职。
