第二年，李亨将年号，有表示孝顺之意的"至德"改为"乾元"。"乾元"二字出自《易经》，用于形容天子之大。然而，再次回到长安的唐玄宗，生活可以说是非常奇怪。
唐玄宗退位后，被儿子软禁
到了太极宫之后，李亨起初也前来问安，后来就变成派人问候起居。而李隆基身边的人也陆陆续续被赶走了，陪伴了卷宗几十年，曾经帮助玄宗发动政变，诛杀韦皇后的指挥官陈玄礼被勒令退休。唯一的妹妹玉真公主被赶出了皇宫，送进了道观。与李隆基最亲近的高力士，也被流放到了巫州，也就是今天的湖南省洪江市。
临行之前，高力士曾经请求唐肃宗再见李隆基，可是就连这样简单的请求，也被肃宗拒绝。公元762年的春夏之交，唐玄宗因为过于忧郁病倒了。几乎与此同时，唐肃宗也一病不起，二人先后撒手人寰，中间只隔13天。
最终，李隆基葬在位于今天陕西省渭南市蒲城县的泰陵；李亨葬在位于陕西省咸阳城西北五十公里的建陵。生于帝王家的这两位父子的陵墓，分别位于关中大唐18帝陵的东西两端。地理上如此遥远的距离，是他们生前父子关系最好的诠释。
