秦桧和高宗的出发点虽然有所不同，但在停止北伐这一点上是完全一致的。但这样做总要找一些理由。狡猾的秦桧觉得不便自己亲自出面，便让台官向高宗奏道:现在“兵微将少，民困国乏，岳某若深入，岂不危也?愿陛下降诏，且令班师”。这个理由很合乎高宗心意，他立即降旨要岳飞“措置班师”。岳飞不知高宗用意，极力陈奏道，现在正是功及垂成之时，时不再来，机不可失，求朝廷增兵添粮，以便一鼓作气收复故土。高宗、秦桧哪里肯听从，以十二道金牌下令岳飞退兵。岳飞只得照办。
岳家军一退，本已准备撤离汁京的金兀术大肆反攻，刚克的昌、蔡州等地又相继被金军攻陷。接着，秦桧又与高宗合谋，将张俊、韩世忠、岳飞三位大将召至行在，分别授以枢密使和枢密副使的高官，解除了他们三人的兵权。
三人中张俊是个贪功忌贤之徒，对岳飞非常嫉妒。高宗和秦桧利用这个矛盾，图谋先陷害韩世忠，再谋害岳飞。绍兴十一年五月，高宗、秦桧派张俊、岳飞去楚州检阅韩世忠原来率领的军队。临行前，秦桧要他们搜集韩世忠的过错，罗织罪状，遭到岳飞的痛斥，而张俊却竭力地执行了。从此，秦桧认定，岳飞不仅是他从事议和的重大障碍，而且是他实施其他阴谋的绊脚石，非置他于死地不可。而高宗也因他威高望重，对他的疑忌越来越深，与秦桧一样决定除掉他。
但是，要谋害岳飞还必须有借口。这时，张俊已与秦桧串通一气，他造了一个谣言，说岳飞提议高宗放弃楚州，退兵保守长江。秦桧马上以此为“罪状”，指使他的同党右谏议大夫万埃上奏章弹幼岳飞。万俊为人狡诈，岳飞深知其人，见到他从不客气，因此他伺机报复岳飞。高宗见了万侯离的奏章，不作任何调查，就肯定了岳飞的“罪状”。秦桧乘机火上加油，附和高宗说:“飞对人之言乃至是，中外或未知也。”①他的其他党羽也跟着上奏章弹幼岳飞。岳飞遭此不白之冤，有口难辩，遂上奏章请求辞职。同年八月，高宗革去了他的枢密副使官职。
