七月十二日，太子李亨在心腹们的强烈要求下僭越称帝，遥尊还在入蜀路上的李隆基为太上皇。之后依靠郭子仪和李光弼收复两京，757年，将太上皇李隆基迎回了长安。李隆基住进了兴庆宫。最开始，李隆基的生活还算是可以的，至少陈玄礼还在，高力士还在，玉真公主还在，旧时的宫女也还在，还有梨园弟子。但这个时候李隆基和儿子李亨之间其实还是有争权的，李隆基试图干涉官员的任命，毕竟朝廷中他还是有追随者的，但李亨对李隆基并不退步，何况还有一个权倾朝野的大宦官李辅国在。李辅国在唐肃宗李亨的默许下，经常欺负李隆基。李隆基想改葬杨贵妃都被李辅国拒绝，李辅国命人将杨贵妃葬在了别处，好在有人把杨贵妃生前用过的香囊给了李隆基，李隆基带在身上聊表相思。后来李辅国更是对李亨说李隆基住在兴庆宫与外人接触太频繁，说不定会有什么谋划。
760年的七月，李辅国直接矫诏把李隆基迁到了内宫方便控制。而在迁居的路上，还出现了惊心动魄的一幕，当时李隆基的护从不过才二三十个，还是老弱病残之类的。他们走到交叉路口的时候，突然从四面八方出现了五百名骑兵，将李隆基一行团团围住，为首的正是李辅国。李隆基吓得几次差点从马上跌落下来。高力士上前呵斥李辅国："太上皇做了五十年的太平天子，李辅国你也是个老臣，怎能对太上皇无礼，还不下马？"李辅国这才下马乖乖的护送李隆基到了甘露殿。心有余悸的李隆基哭着对高力士说："多亏了你，要不我就成了刀下鬼了。"
但是，不久，李辅国就诬陷高力士潜通逆贼而将其流放；又逼着陈玄礼辞职回家，回家不久后，陈玄礼就去世了；又让玉真公主出居玉真宫。李隆基真正成了孤家寡人。于762年去世，而他的儿子唐肃宗李亨也在不久后撒手人寰。
