但随着时间的发展，卫所制度的弊端也逐渐展露出来。随着明朝政权的稳定，百姓们得以安居乐业后，战事逐年减少，军户参战时间随之大减，更多的时间则被用来耕种。这使得很多军户疏于军事训练，明朝整体军事实力也因此大大下滑。
此外，军户的世袭制使权力掌握在少数人手中，很多军官经常强行夺取普通军户的耕地，致使军户无法保障自己的基本生活，最终沦为军官们的劳力。"土木之变"后，明朝重文轻武的风气基本形成，卫所制度因此逐渐走向没落。
眼看军队整体质量下滑，朝廷不得不开始招募精兵。明朝对于精兵的待遇很好，会按月发放军饷，这部分军饷自然要从百姓手里出。随着募兵数量越来越多，所需军饷也越来越多。据统计，到明朝晚期，每年发放的军饷高达五百多万两白银。国库因此亏空，甚至还会拖欠士兵军饷，这让很多士兵心生不满，并开始不断出逃。
