与六部中的兵部相比，五军都督府都调遣军队之权，同时拥有武将的选拔和更替等大权，府中的重要职位一般也是由武将担任。兵部只是负责军队的后勤保障及行政事务等事宜。显然，五军都督府的军权远在兵部之上，朝堂之上的文臣是没办法插手五军都督府的事宜的。正统朝时，兵部尚书邝埜曾向五军都督府索要将领名册，五军都督府掌印都督吴瑾想上报明英宗朱祁镇，邝野顿时感到很惶恐，这就表明朝廷中的文人根本无法插手军事。
《明英宗实录》：祖制五军都督府，外人不得与闻，惟掌印都督司其籍。前兵部尚书邝野向恭顺侯吴某索名册稽考，吴按例上闻，邝惶恐疏谢。
土木堡之役时，明英宗朱祁镇出动的是以京营三大军为主的明朝禁军主力，号称五十万大军，结果仍然兵败。此战，明英宗朱祁镇被俘虏，京营三大军主力覆没，明朝损失惨重。大批有功勋的武将阵亡，在五军都督府中担任要职的武将也损失殆尽，使得五军都督府无法再承担领导全国军队的重任。
兵部侍郎于谦挺身而出，主持大局，扶持朱祁钰为帝，尊朱祁镇为太上皇。朱祁钰在朝中群臣的指引之下，对宦官势力和锦衣卫势力进行打击，使得明堂之上，文臣的地位扶摇直上，并控制了朝局，抵抗蒙古也先进犯的重任也落在以于谦为首的文臣身上。
