1137年初，张俊再次上奏弹劾刘光世，宋高宗准奏，罢刘光世为少师、万寿观使，收了刘的兵权。按照宋高宗与岳飞的商议，刘光世部应当交给岳飞统辖，作为北伐的主力部队。但是宋高宗临时反悔了，将这5万精锐部队交给了刘光世的亲信王德，并让与王德有深厚矛盾的郦琼担任王德的副手，让吕祉担任这支军队的监军。宋高宗的这一任命很快引起了连锁反应。王德为了控制军队，处处排挤郦琼、王世忠等人，监军吕祉难以调和将帅不和的矛盾，整支部队人心浮动，兵变一触即发。刘光世刚罢免时，郦琼等人已经得知将由岳飞来担任统帅，表示服从。但张浚为了控制兵权，怂恿宋高宗临时反悔，派王德统帅这支大部队。王德脾气暴躁，杀人如麻，有"王夜叉"的称号，让一个赳赳武夫统帅一支5万人的精锐部队，不要说郦琼等人不服，就是岳飞也满肚子的气。
1137年5月，岳飞从京城返回鄂州途中，以"与宰相议不合"为由，上奏辞职，算是表达了对宋高宗出尔反尔，对张浚排除异己的不满。张浚恼羞成怒，马上派亲信兵部侍郎张宗元到岳飞处当监军，控制了岳飞部军队，并监视岳飞的一举一动。宋高宗怕宰相与统军大将搞内讧影响自己的统治，写了一道措辞严厉的圣旨将岳飞臭骂一顿，不批准岳飞辞职，暂时平息了张浚和岳飞之间的矛盾。
南宋这边将帅不和，伪齐皇帝刘豫可不会错失良机，派出使者暗中联络郦琼等人，许以高官厚禄，诱惑其叛变。郦琼等人尚在犹豫，朝中传出消息，要将他们这些将领罢免、剥夺兵权，加上王德整日在众将面前作威作福，怨声载道。于是郦琼、王世忠、靳赛等将领秘密商议，打算投降刘豫。
