不过，在永乐皇帝时期，五军都督府，依然极有分量。真正让五军都督府开始衰落的，还是明朝中期，正统年间发生的土木堡之战。公元1449年，住在北京的正统皇帝朱祁镇接到蒙古瓦剌率军入侵的消息。于是，在宦官的怂恿下，决定亲征蒙古。
为了打赢这场战争，皇帝把几乎把最好的家底都搬空了。除了各样武器，还有那些功臣宿将，文武大臣。因为愚蠢的指挥，明朝军队行军至土木堡时，被蒙古军队击败。很多大臣在这场战役中阵亡。
这些人中，有一些是亲身参加战争，凭着自身军功得到官爵的。甚至还有朱棣时期的名将，如英国公张辅。也有功臣宿将的后代，如平乡伯陈怀。这些人都是五军都督府的支柱力量，他们的去世，对于五军都督府的力量，无疑是一个巨大的打击。
而在土木堡之变后，兵部尚书于谦开始统率京城防务，抵御蒙古军队入侵。此时，于谦掌管的兵权，不仅是兵部，包括五军都督府的兵权，也被囊括在内。
于谦去世后，兵部的权力，依然没有下降，反而地位开始越发重要。在过去，五军都督府还有掌管武将提拔选任，军队操练的职权。到了明朝中后期开始，各地都司卫所呈送给朝廷的奏报，都是直接跳过五军都督府。
至于操练军队，也不归五军都督府管辖。因为这些权力，都交给巡抚，以及下层军官负责。五军都督府实际被架空了。而这些人也不向五军都督府负责，而是向总督，或者朝廷兵部汇报。所以，到明朝中后期，朝廷实际的最高军事机构，已经成了兵部掌管，而不是五军都督府了。
