绍兴十一年（1141年），金国在无力攻灭南宋的情况下，准备重新与南宋议和。南宋朝廷着议和的机会，开始打压主张抗金的岳飞、韩世忠二人。金国名将完颜宗弼给秦桧的书信，《金佗稡编》记载：“兀术遗桧书曰：“尔朝夕以和请，而岳飞方为河北图，且杀吾婿，不可以不报。必杀岳飞，而后和可成也。”检于是杀先臣以为信。”
五月，张俊和岳飞一块巡视楚州韩世忠的军队时，张俊暗中和岳飞商量，一块分解韩世忠的军队，被岳飞拒绝了。秦桧又想陷害韩世忠，岳飞再次保全了韩世忠。岳飞回到朝廷后，方俟卨、罗汝楫开始污蔑岳飞在支援淮西的时候停留不前进，主张“放弃山阳”，要求罢免岳飞枢密副使等职务。
宋高宗赵构便罢免了岳飞的枢密副使，给岳飞了一个“万寿观使”的闲职，此时的岳飞手里没有兵，也没有权力，便请回到江州庐山赋闲。这个时候秦桧便开始陷害岳飞，秦桧指使张俊，威逼利诱都统制王贵、副统制王俊出面诬告张宪“谋反”，从而牵连出岳飞来。
