第一，宋高宗赵构之所以一次次对金军妥协，很大的原因就是他被打怕了，他几乎是被金军追着一路南逃，甚至一度逃到海上避难，直到金军北返后他才逐渐在东南站稳了脚跟。
岳家军连战连胜收复了东西二京，但是如果挥师北上深入金国腹地，万一打了败仗，朝廷再无可以和金军抗衡的强军，自己也失去赖以和金国谈判和周旋的资本，秦桧所说："兵微将少，民困国乏，岳某若深入，岂不危也。愿陛下降诏，且令班师。"可谓是说到了宋高宗的心坎里了。
第二，宋高宗对包括岳飞在内的军中手握兵权的大将其实都是不怎么放心的，岳飞打到开封收复东西二京，朝廷还可以控制得住，一旦岳家军挥师北上连战连捷的话，那时朝廷就会鞭长莫及，以岳家军的战斗力和巨大的声望如果在北方割据拥兵自立的话，朝廷一点办法都没有。
北宋立国靠的是赵匡胤陈桥驿兵变，宋高宗不得不考虑到岳家军北上历史重演的可能性，这是他召回岳飞的一个重要原因。
所以宋高宗十二道金牌召回岳飞怕的并不是岳飞迎回宋钦宗，他真正怕的是岳飞北上无论打了胜仗还是败仗对他都没好处，所以他才宁愿放弃扩大战果的机会，也要把岳飞和岳家军留在自己可以控制的范围之内，这样他才能够放心。
