虽说是乾妈，但杨贵妃整整小了安禄山二十岁，野史上两人的关係并没有那么纯洁。安禄山仗著自己是杨贵妃乾儿子的身分，经常随意进出杨贵妃寝宫，陪她吃饭、聊天、喝酒，有时甚至还玩通宵。
两人最知名的苟且行径莫过于「贵妃三日洗禄儿」的趣闻，「洗三」是古代的一个习俗，在婴儿出生后的第三日，便举行沐浴仪式，召集亲友为婴儿祝吉，也称「三朝洗儿」，意在「洗污免难、祈祥图吉」。杨贵妃在禁宫中为比她大二十岁的安禄山洗澡，不免让人感觉啼笑皆非。
此外，《唐史演义》中也提到「禄山与贵妃鬼混一年有馀，甚至将贵妃胸乳抓伤。贵妃因恐玄宗瞧破，遂作出一个诃子来，笼罩胸前。」这「诃子」指的是唐代贵妇中流行的一种无带内衣，也相传是杨玉环为掩饰所伤之乳而发明的肚兜；而「禄山之爪」也成了一个有名的典故。
