加上杨玉环自己也对唐玄宗过分的撒娇，乃至于无理取闹，使得唐玄宗心中警醒：不能再沉迷于美色了。于是他在天宝五年将杨玉环赶回了娘家去，这一年距离杨玉环得宠仅仅一年而已。李隆基这个帝国最强大的男人，此时大脑还是非常清醒的，他知道自己不能沉迷女色，尤其是不能允许外戚干政。
但是把杨玉环赶出去之后，他就真的"要死要活"的感觉了。没有杨玉环，他吃不下饭，睡不着觉，整天都神魂颠倒。虽然当时皇宫里其他美人也很多，但是没有杨玉环，李隆基真感觉活不下去了。最后他只得自己又将杨玉环请回来，杨玉环也被皇帝突然的愤怒吓到了，回来之后就抱着唐玄宗大哭起来、梨花带雨。
这下两人的爱情又一次加深了。实际上李隆基这样从沉迷女色当中清醒过来的行为后面还有好几次，比如"天宝九载，贵妃复忤旨，送归外第"，此时她已经31岁了，但是杨玉环一个动作就把李隆基的这道圣旨给打回去了，她拿起剪刀，将自己乌黑油亮而又长长的头发剪了下来，送给唐玄宗李隆基，并且对她说：
