这时候，宋高宗缓缓地说道："昨晚我做了个梦，梦到了太祖，太祖他老人家怪我占这位子太久了。仔细想想也是，从我登基到现在也有三十多年了，该做的、能做的我都尽力做了，也算是没有辜负各位当年冒着生命危险把我扶上这宝座的期望。现在我身体也不太好了，也不知道还有多少年安生日子能过，现在玮儿（赵昚）也长大了，我是时候该安享晚年了。"
此时的高宗刚刚五十六岁，但面容憔悴，或许是因为早年长期奔波的原因，他看上去比平常的人要沧桑许多，加上这一番掏心窝子的话，臣子们也不忍心再劝。绍兴三十二年六月，高宗赵构正式退位，其养子赵昚登基，是为宋孝宗。
当了三十二年皇帝的宋高宗赵构，就这样成为了德寿宫的太上皇。宋高宗五十六岁退位，八十一岁薨逝，期间他安心颐养天年的时间长达二十五年，可见他的身体状况似乎并非如他所说的那般糟糕，在众多皇帝之中，算是长寿的一位。那么，他为什么要那么早就退位呢？这其中是有什么隐情吗？
事情，还要从二十年前的"绍兴和议"说起。
