之后，曹操对朱灵的恼恨到了极点，他决定废黜朱灵，剥夺他的兵权。于是，曹操命心腹于禁率领数十名骑兵驰入朱灵营中，他拿着曹操的将令，想夺走朱灵的士兵。谁知道朱灵在军中威望太高，竟无人敢动。曹操听闻此消息后，不得不让朱灵做了于禁的属下，几乎要叛变的士兵们这才冷静了下来。
那么很多人就要问了，朱灵资历深、本事大，曹操为何不敢信任他呢？首先，朱灵之前有不孝之举，而不孝之人往往不忠。朱灵不爱自己母亲，又怎么会爱主君？其次，朱灵率自己部下投奔曹操，这既是投诚行为，同时也是背主行为。试问朱灵能背叛袁绍，谁又保证他不背叛曹操？朱灵不忠不孝，在当时人看来简直如同禽兽一般，因此曹操绝不会重用他。
不过由于朱灵作战勇猛、会带兵，有用得着的地方，因此曹操没有选择将他彻底废黜，只是让他作为副将，在有限的范围内发挥他的才能。直到曹操去世，朱灵才稍稍得到提拔。被封为高唐侯，成了后将军。不过相对于五子良将，朱灵的地位还是要差了一些。如果曹操不是那么限制朱灵，恐怕他的功业绝不止这么点儿。
