战局不利的压力迅速激化了统治阶级的内部矛盾，加上李辅国又不停的挑唆，由不得肃宗不起疑，既担心太上皇利用不利的局面东山再起，也担心确有居心不良者利用太上皇的威望兴风作浪。
对局势洞若观火的李辅国早已猜到了肃宗的心思，大胆提议：将太上皇迁居深宫大内，杜绝小人荧惑圣心。据《资治通鉴》记载，肃宗对此提议的表态是"不听"，其实，不听不是反对，而是不用告诉我这么多，你想怎么干就怎么干吧。
于是，李辅国带领五百名禁军将玄宗护送到了太极宫，高力士被流放；陈玄礼被勒令退休，玉真公主被赶回了道观，如仙媛被安置到了外地别院。
一群陌生的宫女、太监与侍卫陪伴着玄宗，怎能排解老人内心的寂寞呢！于是肃宗让两个妹妹万安公主与咸宜公主陪伴父亲，虽然都是女儿，但十个手指尚且不一般齐，女儿和女儿怎能一样。
