绍兴五年，随着军事实力的增强，高宗赵构也有了点底气，再次任用张浚为右相（左相为赵鼎），兼都督诸路军马。同年，着手整顿南宋几大主力岳飞、张俊、韩世忠、刘光世、杨沂中、吴玠的军队，一时间南宋军威大振，颇有中兴气象。张浚鉴于战场形式逆转，积极准备北伐。之前"中兴四帅"之一的淮西大帅刘光世，多次抗命，并且消极畏战，赵构准备让刘光世光荣退休，而将其"淮西军"交给岳飞统帅，即"中兴之事，一以委卿"。结果遭到秦桧、张浚反对。秦桧此时一味求和，自然反对。主军事的张浚，虽然之前一直称赞"唯岳飞与韩世忠可以托付大事"，但是在收编淮西军一事上，却动了私心。张浚曾问岳飞，可否把刘光世手下大将王德扶正，然后派文臣吕祉督军。岳飞说，王德和郦琼，都是刘光世手下大将，不分上下，扶正王德，郦琼不会服的。吕祉一介文人，从来没涉足过军旅，不会服众。张浚又问，张俊（中兴四将之一）、杨沂中（赵构最信任的亲信将领）如何？岳飞说张俊残暴少谋，郦琼最看不惯他。杨沂中跟王德差不多，怎么可能驾驭淮西军？要说刘光世虽然打仗不怎么样，但是驭人确实有一套。王德，武夫粗人，淮西军第一悍将。郦琼，弃文从武，颇具文采，淮西军大将。这两位互相看不起，但是就服刘光世。听了岳飞的话后，张浚挖苦岳飞道："我就知道淮西军非得你才能收编"。气的岳飞上书请求解除兵权。
《宋史 岳飞传》: 诏诣都督府与张浚议事，浚谓飞曰：王德淮西军所服，浚欲以为都统，而命吕祉以督府参谋领之，如何? 飞曰：德与琼素不相下，一旦揠之在上，则必争。吕尚书不习军旅，恐不足服众。 浚曰：张宣抚如何? 飞曰：暴而寡谋，尤琼所不服。 浚曰：然则杨沂中尔? 飞曰：沂中视德等尔，岂能驭此军? 浚艴然曰：浚固知非太尉不可。 飞曰：都督以正问飞，不敢不尽其愚，岂以得兵为念耶? 即日上章乞解兵柄，终丧服，以张宪摄军事，步归，庐母墓侧。浚怒，奏以张宗元为宣抚判官，监其军。
岳飞岳元帅
张浚最终还是任命王德为淮西军主帅、郦琼为副帅，以兵部尚书、都督府参谋军事吕祉节制淮西军。结果，当年八月，多次上书表示不服的郦琼杀督军吕祉，率四万淮西军、裹胁十万百姓叛逃伪齐。淮西防区瞬间真空。关于张浚这个主战派为什么会如此处理淮西军的问题上，宋史大家王曾瑜先生认为，张浚虽为都督诸路军事，但是手下并无"实兵"，而岳飞头衔中有"宣抚诸路"，侵夺了他的"都督诸路军事"的权力，因此张浚想派文臣吕祉操控淮西军，实际上是想将淮西军变为自己的"实兵"。这一说法，有支持者，也有反对者。因为张浚当时还身兼右相，位列宰辅，就算无"实兵"，诸路军马也还是听他节制。但无论如何，"淮西兵变"使得南宋损失了五大主力部队之一，影响极其恶劣，兵变后张浚引咎辞职。宋高宗赵构说，"宁可亡国，不用此人"。
