然而，以妥协苟安为国策的宋高宗却担心宋军的胜利会影响其求和的结果，同时他更害怕岳家军真的从金营迎回徽钦二帝的话，威胁到自己的帝位，因此强逼岳飞退兵。
而爱国的岳飞眼看收复失地无望极为愤恨，于是他称病3月不肯复职，而此番举动又遭宋高宗疑忌，以为他别有用心。
此外，1137年时岳飞又上书建议立皇储而遭高宗训斥；次年再反对议和，又触犯宋高宗忌讳，因此宋高宗几想将其除掉。
并且，更令宋高宗害怕的是，岳飞在军中的威望。经历了苗刘兵变和淮西军变的宋高宗对于掌握兵权的将领很是忌讳，而岳飞在军中的威望几乎是无人可比，甚至是到了想要改朝换代便有无数人呼应的地步，虽说岳飞的忠心有目共睹，但是经历了数次变故的宋高宗仍认为只有死人不会造反。
