当然，武则天的母亲一家和杨贵妃的家族并没有直接关系，出于门阀风气影响，促使天下杨氏都要往弘农后裔攀亲。也许正因此，作为武氏后裔的武惠妃为宝贝儿子李瑁找妻子时煞费苦心，最终就选了这位号称弘农后裔的杨家小娘子。
祖上是风光过，可唐朝以后的杨家，杨贵妃的父亲杨玄琰却只是一个地方小官，在四川蜀州（今成都市所辖崇州市）做司户，因某种罪过于开元十七年（729）死于狱中。
蜀州司户的说法有点含糊不清，实际可能指司户参军，属于管理户籍人口的下级官员。不光杨玄琰的地位低微，像杨玉环后来投靠的三叔杨玄璬，也只是河南府士曹参军，属于从七品下的小衙吏，或许可以看出，这一家作为弘农杨氏的后裔纯粹是攀关系的门面工夫。即便当真是弘农后裔又怎样？就如笔者所说，唐朝尽管崇尚门阀，可如果没有涌现新的达官显贵，祖上的荣誉对子孙半点用处都没有，杨贵妃父辈的遭遇也非常说明问题。
杨玄琰只是一个户籍管理小官员，不知犯了什么事，居然会死于狱中，这也是一个谜团。一方面可能真实反映杨家的家世很普通，无法获得减刑或赎罪的机会。另一方面还可以解读，按说杨玉环的姐姐之前已经嫁给了当时显贵，杨玄琰究竟为何不能得到及时营救？假如不是身体突发严重疾病而没有来得及，那就是很严重的罪行。笔者猜测如隐匿人口，逃户现象从贞观后期到开元天宝，伴随唐朝的军事行动一直十分严重，而蜀中历来是流民涌入主要目的地，户籍官员在这种事情上是非常重要的职务，杨家上下没有省油的灯，也许乃父就是一个营私舞弊的高手，因此才能积累财富，先后嫁三个女儿给当时北方名门子弟，如大姐韩国夫人嫁博陵崔氏崔峋，他们的女儿后来嫁给广平王李俶，也就是代宗李豫为妃。三姐虢国夫人（唐朝流行家族大排行，实际上是杨贵妃的二姐）嫁河东裴氏，不过丈夫早亡。杨玄琰只是一个远在巴蜀的小官吏，假如没有一定资本实力，很难想象他可以为女儿拉拢那么多北方名门子弟结亲。而开元中期推行严刑峻法，吏治整顿比较突出，所以杨玄琰才会如此结局 。
杨玉环是最小的女儿，年仅十岁，玉环是野史虚构名讳，真实名字不可考证。前面三个姐姐相继都出嫁到了外地，家中无人，她在当地失去依靠。当时有一个族兄杨钊刚来四川从军（依附地方豪强鲜于仲通），史书称杨钊近三十投军，从事屯田，正是杨玄琰下狱之时。
杨玉环是一个小女孩，貌似不可能去投靠身在军中的非直系亲属，唯有千里迢迢去洛阳投靠三叔杨玄璬。洛阳为东都，因此“杨家有女初长成”，也比较容易进入朝廷权贵的耳目。
