郦琼拿到奏疏之后遍示诸军，"看看，这就是朝廷对待武将的态度，刘大帅的兵权说夺就夺了，好不容易我能够领着弟兄们一块儿干，结果现在派来个文官不说，这个人还要建议皇帝把咱们调走。兄弟们，你们说该怎么办？"
那些士兵本来就都是他的人，被他这么一鼓动，纷纷叫嚷"反了得了！"郦琼见时机成熟，一拍桌子，命令手下士兵把吕祉给捆了，然后带领部队准备投奔伪齐。
在过淮河的时候，吕祉一使劲儿从马上骨碌下来，说什么都不肯往前再走一步。不仅如此，他还招呼要走的这些将士们，"咱们都是大宋的军人，世受皇恩，现在郦琼要投降金国，你们就忍心去降贼？军中难道就没有人起来振臂一呼，歼此逆贼吗？"
他这一嚷嚷，很多士兵就开始犹豫了，郦琼一看这种情况，心里就开始发虚了："这小子挺能说，回头他再嚷嚷几嗓子，万一这士兵哗变怎么办？"于是他就指使身边的亲信乱刀把吕祉砍死了。
然后郦琼挟持这些士兵就投奔了伪齐，就这样，宋朝五分之一的兵力一转眼就变成伪军了。消息传到都城，张浚深悔自己不听岳飞之言，只是南宋朝廷蒙受了巨大损失。赵构听到消息后更是恨透了张浚，把他罢相，贬出杭州，并且还立下狠誓："宁肯亡国，绝不再用此人！"
