此后最上义光开始大力整顿内部，一切都是那么顺风顺水，使得领地内产值陡增，虽然表面上是五十七万石，但实际产值却是已经高达八十万石至一百万石的石；后世称呼最上义光为“出羽的骁将”也有人惊于其狡诈的谋韬而称他为“羽州之狐”。
但最上氏的荣光并没有持续多久，出羽山行藩的第二任藩主是他的次子最上家亲，也就是那个曾被德川家康收为近侍的帅小伙，在最上家亲时期，靠着他与德川家康的关系，理论上最上氏是最安全最稳定的时期，奈何最上家亲早逝，对于最上家亲的死因，有很多猜测，如毒杀、猝死等。
最上家亲死后，他13岁的儿子最上义俊继任家督，成为出羽山行藩的第三任藩主；因为才智平庸，被家臣们认为“不具藩主之才”，以至于有很多家臣转而考虑另立其叔山野边义忠为出羽山行藩的藩主；这最上义俊知道后，不想着自己解决问题，反而到幕府去告状。
当时幕府真愁外样大名的势力太强，想办法削弱来着，最上义俊就自己送上门来了；最后幕府经过调查后说并没有最上义俊说的那些事，并在走访最上氏的家臣后给出结论：最上义俊能力平庸，不适合担任出羽山行藩的藩主，于是就把他改易到近江大森藩，这大森藩只是个一万石的小藩……
因此最上义俊在二十七岁的时候就因悲愤、羞愧、自责等原因早逝；而他的儿子最上义智更惨，虽然被批准继任最上氏家督之位，但却以年纪太小的缘故，又给减去了五千石领地，最终，最上氏仅剩下五千石的领地，连大名都不是了（过一万才叫大名），只能是以旗本的方式延续传承。
只是不知道最上义光知道自己那没出息的孙子，将自己好不容易扩充到五十七万石的领地，一下就弄到只剩下一万石，最后只剩下五千石，连大名都不是了，不知会有什么想法，但事已经成定局，真的只能说最上义俊自己无能；同样是外样大名，前田氏、伊达氏、岛津氏等等，都过得好好的，幕府削藩，也是找软柿子捏啊。
