公元193年，曹操攻打陶谦，袁绍派朱灵率领数营兵力支援曹操。在战斗中，朱灵看到了曹公的英姿，并感叹道："这才是能得天下的英主！"于是，朱灵决定率兵留在曹操的阵营，不再回河北，反正自己的家人已经死光了。从此以后，朱灵随曹操南征北战，屡建战功。他随曹操北定冀州、南征荆州，又从征马超、韩遂于关中，西克张鲁于汉中，战功卓著，威名仅次于"五子良将"之一的徐晃。
不过令人奇怪的是，朱灵一直都以副将的身份出战，几乎从来没有独当一面，很显然朱灵似乎并不被曹操信任。公元199年，朱灵随刘备出征袁术。结果老奸巨猾的刘备趁朱灵不注意，带兵逃离了曹营，朱灵对此竟浑然不觉。从这时起，曹操开始越来越不待见朱灵，而朱灵也在曹操的威逼之下屡次犯错。
公元204年，曹操歼灭了袁氏军阀，并要朱灵整训冀州兵。曹操告诫朱灵说：冀州兵新降，军纪涣散、怏怏不乐。你素有威严的名声，恐怕他们会不满。因此，他对他们应该更怀柔一些，否则必生变故。然而朱灵却对曹公的劝告置若罔闻，仍然严格带兵，结果冀州兵在路上就发生了哗变。虽然之后朱灵杀了带头闹事的人，平息了叛乱，但曹操仍对他很恼火。
