再说他所说的倦怠。赵构退休后，并没有过上每天养养花、喂喂鱼、写写字这样颐养天年的生活，其军国大事他同样也没落下。史书记载了这样一则故事：有一次，赵构让孝宗把一名被免职的知州官复原职，但孝宗却发现此人是个很大的贪污犯，免死已经属于恩典了，于是没有照做。太上皇赵构大怒，在不久后的一次家宴上专门挑出此事，奚落孝宗不听老人家的话。孝宗赶紧认错，允诺明日便让下旨让此人官复原职。第二天，面对着执意维持原判的宰相，孝宗只得如实相告，"昨日太上盛怒，朕几无地缝可入，纵大逆谋反，也要放他。"
类似的事情，史书有很多记载。简而言之，赵构虽然已经退位，但最高决策权实际上仍把持在他手中，孝宗很大程度上活在了他的阴影之中。这一情形后来被乾隆给copy了过去。由此可知，无论是"老且病"还是"久欲闲退"，都只是表面的说辞。
在赵构决定退位的前一年，即绍兴三十一年，发生了一件大事，金朝皇帝完颜亮单方面撕毁合约发兵攻打南宋，此事给宋高宗造成了前所未有的创伤。自绍兴八年以后，赵构便两耳不闻窗外事、一门心思求议和。为此，不惜自废武功诛杀岳飞，又重用秦桧大兴文字狱。秦桧死后，面对一些人要求清算他的呼声，赵构笑呵呵地说知道了知道了，然后转眼便赐秦桧谥号"忠献"，追封其为申王，又亲自往秦桧府邸进行祭奠，并在秦桧墓前的石碑上御书八个大字--"决策元功、精忠全德"。此后，又不断给秦桧及和议政策背书，屡次声称这并不仅是秦桧的主张，也是自己的英明决议。议和已经深深地与赵构捆绑在了一起，构成了他执政合法性的一块基石。绍兴三十一年四月，金国使节抵达临安，向赵构传递徽宗已死的讯息。然而，此人竟然当场肆无忌惮地辱骂赵构，赵构一时目瞪口呆。他当场情绪崩溃，丢下众人"号恸"而走，最后还是大臣刘炎找到躲在屏风后面痛哭的赵构，让他下旨令使者退去，这场难堪的闹剧才告一段落。在这种情况下，完颜亮四路大军的南侵，完全打破赵构的心理防线。
对于赵构来说，为了能够议和他押上了全部身家，几十年的统治就是建立在议和的基础上。之前为议和付出的代价越多，如今看来就越加可笑。在金人南侵之下，赵构政权的根本国策无法维持，只能力主抵抗而别无他法。能够做代罪羊的秦桧等人已经不再，于是这个政治灾难只能由他自己来抗。如何化解这一前所未有的政治危机？思前想后，赵构最终选择了禅让这一招。果然，当赵构选择内禅之后，无论先前曾经多么不满，此时的士大夫一致为他疯狂打call，将高宗摆到了与尧舜一样的高度。甚至有人夸出了天际，声称这是"盖自开辟以来，所未有也，于皇休哉。"
