孝宣许皇后，父亲叫许广汉，是昌邑人，年少时为昌邑王郎，他跟从汉武帝到甘泉时，误取他人的马鞍披在自己的马上，被官吏揭发，以盗窃罪论当死，其后以宫刑代替而免死。后来做了宦官中的丞。
上官桀谋反时，许广汉参与搜索罪犯。上官桀在宫中的庐舍内有数尺长的绳索，可用来绑人的有数千根，用箱子封存着。许广汉没搜索得，其他官吏却搜到了，结果许广汉因搜捕不力被判刑为鬼薪（一种徒刑。因最初为宗庙采薪而得名。从事官府杂役、手工业生产劳动以及其它各种重体力劳动等。），送到掖庭当差，后来做了暴室啬夫。
这时宣帝被收养在掖庭，称为皇曾孙，和许广汉同住一。掖庭令张贺，本是卫太子家的小吏，太子败亡后，被处以宫刑，由于旧时的恩情对皇曾孙很好。等到皇曾孙长大以后，张贺打算把孙女嫁给他，但时任右将军的弟弟张安世反对此事，理由是皇曾孙是卫太子的后代，有幸能以平民身份被供养已经足够了。张贺只好作罢。
