到了永乐皇帝时期，五军都督府虽然地位很高，但实权已经开始归到兵部手里。五军都督府的很多职权都被不断裁撤，而兵部的权力是在不断上升的。
兵部掌握的职权，包括皇帝、皇后、皇太后出行时车驾排列，礼仪排场，以及宫廷守卫。京城军队的操练，以及其他大小军政，都归兵部掌管。
不过，在永乐皇帝时期，五军都督府，依然极有分量。真正让五军都督府开始衰落的，还是明朝中期，正统年间发生的土木堡之战。公元1449年，住在北京的正统皇帝朱祁镇接到蒙古瓦剌率军入侵的消息。于是，在宦官的怂恿下，决定亲征蒙古。
为了打赢这场战争，皇帝把几乎把最好的家底都搬空了。除了各样武器，还有那些功臣宿将，文武大臣。因为愚蠢的指挥，明朝军队行军至土木堡时，被蒙古军队击败。很多大臣在这场战役中阵亡。
这些人中，有一些是亲身参加战争，凭着自身军功得到官爵的。甚至还有朱棣时期的名将，如英国公张辅。也有功臣宿将的后代，如平乡伯陈怀。这些人都是五军都督府的支柱力量，他们的去世，对于五军都督府的力量，无疑是一个巨大的打击。
