武将在权力和地位上的变化，引起了高宗和整个文臣集团的强烈不满与惶恐。
从建炎年间直到绍兴议和，朝野上下响起片收夺兵权、恢复"抑武"传统的呼声，其中既有死心塌地的主和派，也有旗帜鲜明的抗战派，如胡寅一面上书严厉指责高宗的逃跑政策，一面又对武将们深恶痛绝，如季陵、吴伸、廖刚、张守等都曾言辞激烈地提出过批评，然而把问题说得最尖锐、影响也最大的，还是绍兴元年二月翰林学士汪藻那篇"驭将三说"，文长难录，其中有三点值得我们尤其重视：
一，他认为，
"今诸将之骄，密院已不得而治矣。臣恐寇平之后，方有劳圣虑"，
以对付由武将引起的萧墙之祸。这一思想，正为高宗、秦桧后来的投降活动张本。高宗一伙所以一次又一次迫不及待地对金妥协、求和，就是担心再打下去
