然而就在杨国忠春风得意的时候，老天却给他送上一顶天大的绿帽子。对此，《开元天宝遗事》中曾记载：
"杨国忠出使于江浙。其妻思念至深，荏苒成疾。忽昼梦与国忠交因而有孕。洎至国忠使归，其妻具述梦中之事。国忠曰：'此盖夫妻相念，情感所至。'后生男名朏。"
简单翻译就是，杨国忠出使于江浙，而妻子由于思夫过度，做了个春梦，因而怀孕。杨国忠大约一年后回来，却发现自己老婆挺了个大肚子。从时间来说，这孩子肯定不是杨国忠的。然而裴柔却面不改色地对杨国忠说："我太想你了，因此因梦而怀孕。"
对于普通人来说，裴柔的话根本就是无稽之谈，除了传说中的人物，谁会梦中怀孕呢？都说"婊子无情"，裴柔怀孕不过是其水性杨花本性的旧病复发而已。
