北伐作战不仅仅是军事方面，还涉及到大量的物资供给，尤其粮草还有北方冬季作战的棉衣，这都需要耗费民力。本来大批人从中原迁到南方就增加了南方地区的税收，还要防御金兵入侵，看似富有的江南百姓并不能承担这么重的负担。如果岳飞北伐，增加的费用对于极度不稳定的南宋是个考验，这种考验不仅会中断北伐，甚至引发民变。作为皇帝，赵构必须全盘考虑。
自南宋建立起，始终存在主战派和主和派，客观的说，不能说哪一派对，哪一派错，甚至都不能简单的说主和就是卖国。除了前面说的，战争规模扩大，负担不起的民众会发生民变外，南方地主阶层和部分南迁大臣也是不支持北伐的，维护自身利益是一方面，对于局势的理解也一方面。固守长江防线，养精蓄锐其实也是种好的选择。因此，北伐并没有得到普遍支持，有可能是反对的声音不小。
一个极力要对外作战的将领，并不一定会得到皇帝的信任。拥兵自重胁迫皇帝的大有人在，赵氏家族骨子里就有反对武将势力扩大的基因。赵构在经历早期的兵变后，对武将更加忌惮。岳飞不可能反，赵构未必相信，就算赵构相信了，谁敢保证黄袍加身的故事会不会重演。即使不反，岳飞会不会依靠手中掌握的兵权来干预朝政，威胁皇权，这个还真说不准。作为武将的岳飞，就非常关心高宗立储的事，在高宗无子的情况下，他会不会选择支持一个他认为最合理的皇位继承人，都是未知数。这些都是高宗担心和忌讳的。
对北伐缺乏信心、害怕钦宗回归、支持度不高、武将干政威胁等因素，使得宋高宗赵构不敢让岳飞放开手脚去北伐。靖康之耻未雪，故土未收复，又亲手除掉自己的大将岳飞，宋高宗不惜一切维护自己到手的权力。
