史书上记载，杨牡丹和外孙贺兰敏之有乱伦的暖昧关系。
贺兰敏之是武则天的姐姐武顺的儿子，武则天的甥男，太平公主的姨兄。
《旧唐书卷一百八十三 列传第一百三十三》记载：
敏之既年少色美，烝于荣国夫人，恃宠多愆犯，则天颇不悦之。咸亨二年，荣国夫人卒，则天出内大瑞锦，令敏之造佛像追福，敏之自隐用之。又司卫少卿杨思俭女有殊色，高宗及则天自选以为太子妃，成有定日矣，敏之又逼而淫焉。及在荣国服内，私释衰绖，著吉服，奏妓乐。时太平公主尚幼，往来荣国之家，宫人侍行，又尝为敏之所逼。俄而奸污事发，配流雷州，行至韶州，以马缰自缢而死。
