回到长安后，唐玄宗住进了兴庆宫，唐肃宗住在大明宫，父子两人还经常互相探望，这个时候唐玄宗的日子还过着不错，但皇权之下无情亲，唐肃宗始终不放心唐玄宗，时刻防备着他。唐玄宗闲暇时，喜欢登上长庆楼去看长安城内的景观，百姓看到城上的唐玄宗后，会高呼万岁，唐玄宗也会挥手向百姓打招呼。除此之外，公主、内侍，以及朝中大臣也会时常去看望唐玄宗。
这些情况让唐肃宗极其不满，他宠信的宦官李辅国也乘机进言，让唐肃宗防备唐玄宗，还建议让唐玄宗去太极宫居住，太极宫位于大内之中，几乎与世隔绝，可以防备唐玄宗和外人接触。史书记载唐肃宗是"上不听"，没有同意李辅国的建议，但也没反对，所以李辅国就按他所说的去做了。
李辅国让人牵走了长兴宫中的290匹马，只给唐玄宗留了10匹。马是战略物资，牵走马可以防备唐玄宗复辟。看到空荡荡的马厩，唐玄宗伤感地对高力士说："吾儿为辅国所惑，不得终孝矣。"
然后李辅国派人请唐玄宗到太极宫游玩，唐玄宗不敢拒绝，他刚出门，就被500名持刀的骑手给拦住了，唐玄宗吓着差点从马上摔了下来。这时高力士挺身而出，呵退了士兵，才护送着唐玄宗到了太极宫。随后，唐肃宗只安排了几个老弱残兵保卫唐玄宗，陪伴唐玄宗多年的人，都被唐肃宗清退了，陈玄礼被唐肃宗勒令退休，高力士被唐玄宗贬到了巫州，年迈的唐玄宗成了孤家寡人。
这个时候，唐玄宗已经进入到了人生的晚年，但他生活在太极宫的日子，没有自由、没有爱情、没有尊严，公主，以及大臣等都不能去看望他，所以唐玄宗晚年的生活非常凄苦和凄凉，只在太极宫生活了一年多时间，他就去世了。高力士得知唐玄宗的死讯后，也自杀追随他而去了。
