土木堡之变中，明英宗被俘，参战的二十万明军损失过半，武将勋贵集团的中坚力量英国公张辅、泰宁侯陈赢、驸马都督井源、平乡伯陈怀、襄城伯李珍等人和经过他们悉心调教的新生力量尽数阵亡。而接下来的京师保卫战中，兵部尚书于谦却以一己之力挽狂澜，这就给世人心中留下了一种关键时刻还得靠文官的印象。所以景泰帝登基后，以于谦提督京营，兵部地位开始崛起，五军都督府的权力开始逐步削弱。
景泰年间，每遇重大军事行动，朱祁钰都会跟于谦商议，并且卫所将领的选拔和更替、卫所士卒的操练都被收归兵部，五军都督府的权力就只剩下了管理军户户籍和屯田等，兵部地位已然崛起。
明英宗复辟后，虽然通过废除于谦所设团营、召回天下镇守文官等办法打压兵部，但是随着石亨以图谋不轨被诛，大明彻底由文武并重转向重文抑武。
成化、弘治年间，管理军户户籍的权力也被收归兵部，五军都督府彻底沦为一个有名无实的部门。
