虽然如此，"巫蛊之祸"的影响依然存在，根本没有人把宣帝当作皇族看待，甚至认为他是祸星！
宣帝的爷爷为太子的家仆，张贺也因为受到"巫蛊之祸"下狱，后来做了掖庭令，对宣帝比较疼爱，想把自己的孙女嫁给他。但是张贺的弟弟张世（当时做右将军）不赞同说了这么一句话：
"他是为太子的孙子，能做一个庶人在掖庭养着就不错了。"
但是宣帝长大自然是要结婚的，张贺因为弟弟的反对不在提让自己啊女儿嫁给宣帝的事情。他找到了许广汉，当时平君已经许配给了别人，在准备出嫁的时候，对象不幸身亡！
张贺摆了酒席劝说许广汉将平君嫁给宣帝。
