李瑁和杨玉环在一起生活了三年，等到了737年的十二月，武惠妃去世了，李瑁和杨玉环还没有从母亲去世的痛苦中走出来，738年的春天，唐玄宗将杨玉环召进宫中。
唐玄宗对杨玉环一见钟情，但要得到杨玉环需得从长计议，所以他先让杨玉环回到寿王妃，但从此之后经常召见杨玉环，又不断敲打李瑁，李瑁和杨玉环之间的感情从此出现了裂痕，即便杨玉环住在寿王府，但两人之间已不似从前。
到了740年十月，唐玄宗下了一道敕令："寿王瑁妃杨氏，素以端懿，作嫔藩国，虽居荣贵，每在精修。属太后忌辰，永怀追福，以兹求度，雅志难违。用敦宏道之风，特遂由衷之请，宜度为女道士。"
