随后雁门郡所属的并州刺史丁原见张辽勇猛刚强，就渐起了提拔的心思。公元188年，张辽被丁原提拔成从事，命他前往京城跟随将军何进。但是朝中风云诡谲，将军很快被宦官所害。于是张辽在京城孤身一人，被迫转投权倾朝野的董卓。
可后来就不久董卓兵败，张辽无奈又转投了吕布，成为轻骑都尉。这时张辽已经学聪明了，他将自己手下的军队调教成了像是如今雇佣兵一般的形式，虽说名义上还是吕布名下，但是张辽作为北地太守还是保留了很大的自主权。
虽说是已经独立于吕布的军队之外，但是张辽面对自己投奔的主公还是非常忠心的。在吕布兵败逃亡的期间一直都跟随者吕布。在他25岁那年，也就是公元194年。吕布与曹操的军队在濮阳遇上，张辽作为吕布手下第一大将，率领着自己的骑兵次次都冲在最前面，杀得曹操胆寒。
