关于杨贵妃的籍贯，历来有五种说法：虢州阌乡说（今河南灵宝） 、蒲州永乐说（今山西永济）、弘农华阴说（今陕西华阴）、蜀州说（今四川成都）、容州说（今广西容县）。从官方文件上来看，唐玄宗曾颁发过那么一则公文，"公辅之门，清白流庆，诞钟粹美，含章秀出。"一句话：杨贵妃出身于名门望族。杨贵妃的远祖，是隋文帝时的大臣杨汪。《隋书》对杨汪的出身记载了七个字，"本弘农华阴人也"。根据《通志-氏族略》记载，弘农杨氏本是春秋末期晋国六卿之一的羊舌氏。史载，"叔向生伯石，字食我，以邑为氏曰杨石。党于叔盈，盈得罪于晋，并灭羊舌氏（杨氏）。叔向子孙逃于华山仙谷，遂居华阴。"（注：公元前514年，祈盈之难）
晋国灭亡后，华阴杨氏开始走向政治舞台。汉高祖刘邦手下的将军杨喜即是杨氏后裔，他因参与击杀项羽而官封赤泉侯。之后，华阴杨氏后裔依然活跃在政治舞台。东汉时，华阴杨氏出了一个名人--杨震，时称其为"关西孔子"。于是，华阴杨氏便将杨震奉为开基之祖，杨汪便是杨氏后裔的旁支之一。正是因为杨贵妃的远祖杨汪和隋文帝杨坚都是弘农人，所以杨汪颇受隋文帝重用。这就是为何唐玄宗称杨贵妃是名门望族的原因。
隋炀帝即位后，杨汪因杨玄感起兵遭到杨广猜忌，被贬到梁郡（今商丘）做官。后来，隋炀帝死于江都（今扬州）。身处乱军之中的杨汪不得已归附了割据洛阳一带的强大军阀王世充，如此，当李世民翦除王世充后，杨汪便被列为"凶党"诛杀。杨汪死后，杨氏后人依旧居住在蒲州。所以，史料上又称杨贵妃是蒲州永乐人。随后，对杨贵妃一族的记载便很模糊。也许是因为杨汪是唐朝官方定型的"凶党"，所以他的子孙躲避尚且不及，更不论从政了。但是等到杨贵妃之父杨玄琰时，尝试着做官的杨家后裔便开始见诸于史料。《资治通鉴》记载，"玄琰，汪之曾孙也。"
