虽说将在外君命有所不从，可岳飞办不到，在他心里那是对国家对皇帝的不忠。所以他退兵了，这一退就是十年功废，北方忠义军孤掌难鸣。完颜兀术很快攻取河南地区，岳飞听闻消息，只得仰天悲叹。然而他不知道，一场千古奇冤，针对他的灾难即将到来。绍兴十一年（1141年），金宋准备议和，宋廷便开始打压手握重兵又主张抗金的将领。
岳飞和韩世忠两人率先受到责难，张俊开始想要跟他合作，暗中挑唆他一起分了韩世忠的部队。岳飞不肯，在秦桧陷害韩世忠的时候，还出面保了他。由此惹了张俊和秦桧，后来的诬陷秦桧是一手主导，张俊也出了不少力。他是岳家军12将之一，与岳飞意见不和，便投靠了秦桧一派，一路协助他制造陷害岳飞的伪证。
首先利用岳家军的内部矛盾，逼着都统制王贵参与诬陷，王贵不得不屈服。又收买张宪部将副统制王俊，让他出面告发张宪谋反，通过张宪扯出岳飞。接着把傅选等将领一同拉下水，或胁迫，或利诱让他们站出来指证岳飞。至此，岳家军十二名将领，包括他自己在内九名站出来诬陷岳飞谋反。
