到洛阳参军的张辽便成为大将军何进的部下，后来还替何进招募了千余士兵。然而在中平六年（189年），何进被宦官所杀，进而引发了"十常侍之乱"。董卓趁机杀进了洛阳，控制了汉献帝与东汉中央。
董卓能够控制汉献帝与东汉中央的主要条件之一是他几乎全盘接受了何进的旧部，张辽也是其中之一。不过对于以凉州人为主的董卓集团来说，并州人张辽属于边缘化人员，史书几乎没有任何活跃的记载。
可能是因为被边缘化，张辽归顺董卓后逐渐与同样出身并州的吕布靠近，在董卓集团内组成了并州派系。董卓被杀后，并州派系彻底脱离关西军阀，张辽也就成为并州派系的老大吕布的将领。
