公元1161年，就是在赵构宣布退位的前几个月，完颜亮又再次带着大军越过黄河，大举进攻南宋。赵构仓皇失措，又打算再次向金人求和，幸好得虞允文等人积极抗金，金人被打败，南宋得以转危为安。此次事件、再加上二十年前赵构为求和处死岳飞的做法，使得军民对宋高宗大为不满，赵构的统治大不如前。
赵构心里比谁都清楚自己的处境，与其等着某一天被逼宫，还不如自己潇洒退位，说不定还能挽回点好形象。再加上赵构本人常年在被金人攻打的阴影中战战兢兢地生活，如果这次金人再打过来的话，身为皇帝的自己不知道还能不能逃得掉。多番权衡之后，这才有了绍兴三十二年的高宗退位。
从赵构退位的原因我们可以看出来，其实他并非心甘情愿退位，而是在没有退路的情况下的无奈之举。从他之后的行为也可以看出，他对皇帝的权力还颇有留恋。
有一次孝宗下朝之后，就去德寿宫看望高宗，高宗则照例询问今日朝中的大小事务。孝宗提到，有一个叫郑藻的官员上奏，弹劾自己的嫂嫂不守妇道，洋洋洒洒列出了十几条她目无尊长的事例。高宗一听，脸色突然冷了下来。孝宗不懂高宗为何生气，于是小心问道："您觉得该如何处理郑藻这事儿比较好呢？"高宗看到孝宗态度尚好，脸上便和缓了许多，说道："郑藻弹劾他嫂嫂，你要不要处置她，还是要看一看媒人的面子。"孝宗又问道："媒人是谁呢？"高宗放下茶杯，淡淡地说了句："我就是那个媒人。"孝宗惊恐，马上向高宗下跪赔不是。第二天，孝宗就把郑藻给外放了。
