在董卓祸乱朝政的时候，张杨自然不打算回到朝廷了。于是，张杨率兵进攻上党郡太守于壶关，但未能攻下。不过，张杨却将自己的士兵扩大到数千人的规模，初步具备了割据一方的实力。初平元年（190年），曹操、袁绍、袁术等诸侯组成了讨伐董卓的联军。对于张杨来说，他也选择加入。当然，大家都知道。在董卓挟持汉献帝刘协迁都长安后，关东诸侯因为利益上的冲突，所以逐渐分崩离析了。
初平三年（192年），曹操遣从事王必从兖州出使长安朝见汉献帝，途径河内郡时被张杨拦阻，董昭告诉张杨"袁绍、曹操虽是同盟关系，但看情况，是不可能长期联合下去的。因此，现在可以和曹操结交，这样曹操不会忘记你的帮助。"张杨听后觉得有理，就立刻照办了。曹操得知情况后，对张杨果然十分感谢，特地给张杨送去犬马金帛，张杨也派使者拜见曹操。不过，张杨很可能想不到的是，自己日后会被曹操消灭。
初平四年（193年），吕布除掉董卓后，又被董卓的部下击败。吕布被赶出长安后，投奔南阳袁术，袁术因吕布反复无常，所以想除掉吕布，吕布因害怕而投奔了张杨。当时李傕郭汜悬赏捉拿吕布，张杨部下都想杀掉吕布。
三
