但是事实是，他再不愿意，出于责任也得当这个活靶子。现在在他手里的江山乱象纷纷，金国屡次进犯，国库里也空空如也，在乱局里还冒出了很多绿林草莽自立为王，甚至还有官兵沦为土匪，百姓被迫偷盗的事件。局面已经如此糟心，朝中的大臣们也很是不省心，在政见上有了不同的主张，一方主张迎回二帝，而另一方觉得能坚守故土就好，还有希望能与金国谈判议和的大臣。赵构眼看宋军都是一副病恹恹的样子，对金军也是望风而逃，赵构打不赢就只能躲，开始了四处逃亡的日子。
不仅如此，赵构的亲随护卫还发动了兵变，赵构被他们强逼退位还被软禁起来，但是时隔不久，张浚、韩世忠等人又重新把赵构扶上了皇位，这样的经历也让赵构对武将有了几分成见。在后来的南宋朝廷里，确实出现了很多优秀的武将，为朝廷抗击金兵做出了巨大的贡献。但是并没有让赵构走出那个心理阴影，反而开始百般防范起来。
为了防止那样的事件再次重演，赵构在局势有所缓和的时候就开始逐渐冷落抗金将士，反而重用主和派向金国求和，不惜以割让土地、进贡财物甚至杀害岳飞为代价来换取南宋朝廷偏居一隅的存在，而南宋这样屈辱地度过152年之后终究还是覆灭了。
