可是，卫所制度发展了一百年后，因其掌握大量土地，所以成为各方觊觎的对象。地方将领把士兵当做自己的劳工，每月只要上交一定的钱财，就可以免去军事训练之苦。而朝廷显贵、官僚、地方士绅，开始侵占土地，一些商人用重金行贿，把自己蓄养的大量家奴编入军籍，以获取土地和侵吞巨额军饷。军官也视士兵为家奴，让其变成自己的佃农，完全失去了军事意义。遭受如此剥削，又不能脱离军籍，很多士兵开始逃亡，许多卫所的兵力仅剩下一半，甚至有些地方的逃亡军士竟然占到军队的80%。由于领兵、调兵、指挥权分离，兵不识将，将不识兵，一旦战事爆发，卫所只好临时雇用矿工等充数，军队的战斗力可想而知。
随着卫所制度的颓败，军饷开支越来越大，由1500年的5万两，猛增至1586年的360万两，加上征讨蒙古鞑靼、瓦剌，平定西南叛乱，出兵朝鲜抗击倭寇，前后花去的1200万两，致使国库亏空，朱元璋夸下的"养兵百万不费百姓一粟"的海口，成了一记响亮的历史耳光。为了应付这些不断增长的开支，朝廷只好增加赋税，加派"辽响"，尤其是对江南地区的搜刮（这在电视剧《大明王朝1566》里体现得淋漓尽致），超出了农民的承受能力，导致农民起义此起彼伏。至此，卫所制度彻底成为鸡肋，而大明王朝也已摇摇欲坠。
