肃宗穿上太子时的服装，亲自从车撵上扶下玄宗，并行拜舞礼，跪下抱住玄宗的脚，痛哭流涕。唐玄宗命左右把带来的皇袍穿在李亨身上，帝位交接仪式感十足。然后一行人前往长安，肃宗亲自给玄宗牵马。玄宗对左右赞道:我做天子五十年不觉得显贵，现在做天子的父亲觉得最显贵了。颠沛流离的生活就此结束，唐玄宗回长安后躲进居兴庆宫，过上整日伤心整日闲百无聊赖的太上皇生活。在迎回长安的日子里，唐玄宗为保全自己在儿子面前低头，不断讨好儿子，表现出一副极度满足，再无野心的模样，他过得多么痛苦多么难堪多么憋屈。
然而两年后这种平静的生活也被打破。因为唐玄宗创开元盛世余威仍在，下野之后政事能量还在，加上宦官李辅国不断挑拨离间两父子关系，有一次，唐玄宗哀悼杨贵妃，想派人去重新安葬杨贵妃，被李辅国派去的手下听到，李辅国进谗言说玄宗是不服当年太子和陈玄礼诛杀杨贵妃一事，是想翻盘。唐肃宗还真怕老爸有翻盘的机会。
公元760年，在唐肃宗的默认下，大宦官李辅国假装请唐玄宗去太极宫赴宴，唐玄宗被强行迁至太极宫甘露殿。到深宫太极殿后，唐玄宗连自由也失去了，他不仅和外界失去了联系，连原本一直在身边的人也都被赶走了。陈玄礼提前退休，高力士流放巫州，他就只剩孤老头子一个，几个能够送饭递水的宦官，没有一个人同他交流。唐玄宗只能天天看着红墙黄瓦缅怀往昔的光辉岁月，在思念马嵬之变亲自赐死的杨贵妃中以泪洗面，在不断的忏悔中孤独度日。
