惠妃死后，寿王不仅完全丧失了当皇太子的可能性，而且失去了强有力的母亲的保护。首先，李林甫见玄宗对立寿王一事犹豫不决，在惠妃去世后，他明哲保身，再也不提这事；其次，玄宗虽然宠爱寿王，但喜欢的是他温良有礼的个性，可寿王毕竟缺乏刚劲坚毅的一面，玄宗对此也很犹豫，因此他为了储君一事忧虑不已。这时高力士建议道：“推长而立，谁敢复争”，就这样，玄宗第三子忠王李亨被册立为皇太子。而寿王可以说再无立储希望，在玄宗那里失宠了，也没人再会去讨好逢迎他了。但寿王不以为意，继续和杨玉环过着自己的小日子。
玄宗失去多年伴侣惠妃后，很长一段时间过着闷闷不乐的生活，后宫中没有女人能赢得他的宠爱。然而这时有人却向他进言，说杨玉环天生丽质美得冠绝天下，玄宗这时认真打量起自己儿媳，果然对她的美丽爱不释手，恨不得马上占有她。在开元二十八年左右，看上了儿媳的玄宗玩了一出移花接木，他以为母亲昭成窦太后祈福的名义，度寿王妃杨氏为女道士，赐号“太真”，居于大明宫太真观，就这样玩个障眼法把儿媳给弄到手了。玉环后来和公公玄宗情投意合，玄宗对她的宠爱远甚惠妃。《度寿王妃为女道士敕》：
圣人用心，方悟真宰，妇女勤道，自昔罕闻。寿王瑁妃杨氏，素以端懿，作嫔藩国，虽居荣贵，每在精修。属太后忌辰，永怀追福，以兹求度，雅志难违。用敦宏道之风，特遂由衷之请，宜度为女道士。
母亲死后又被亲爹夺走爱妻的寿王李瑁真是有苦说不出，比委屈和苦楚更可怕的是他还置身在一种危险之中。废太子李瑛等三皇子就是因为对父亲玄宗口出怨言而被人诬陷害死，玄宗虽然是自己的父亲，但更是皇帝之尊，无论从君臣父子关系来说，玄宗都是绝对的尊者，他对某个儿子想废想杀想贬是轻而易举的。因此，本身性格温良的寿王过着更加谨慎的生活，他不敢对父亲的举动有任何不满。
天宝四年，玄宗决定册封杨玉环为贵妃，就在册封贵妃前十天，玄宗为二十七岁的寿王再立了一个王妃韦氏。韦王妃出身京兆韦氏，是一个地道的名门贵女。玄宗这次赐婚目的有二，一是解决了寿王这几年的单身之苦，也让寿王彻底放下心来，毕竟性命暂时是保住了；二是他此刻准备册爱妃杨玉环为贵妃，因此想借寿王婚事掩盖掉杨玉环为寿王妃那段历史。自此之后，唐玄宗和杨贵妃继续着他们轰轰烈烈的爱情故事，而寿王李瑁和韦王妃也过着自己平淡的小日子。至于唐诗中“薛王沉醉寿王醒”之句，虽然代表着舆论对寿王被夺妻的同情，可能寿王心中也未必没有这样的伤感，但相当谨慎的他绝不会在玄宗或者外人面前表露出来。寿王后来也继承了李唐皇族的多子基因。他和众妃妾们生子数目不详，女儿则至少有二十二个，其中第二十二女阳城县主李应玄的生母就是韦王妃。
