后元元年（公元前88年），武帝命人画了一幅周公抱着年幼的周成王接受诸侯朝见的图画，赐给了奉车都尉霍光，以此向大臣们暗示将要册立幼子刘弗陵为太子。
数日之后，赵氏偶然犯错，一向对赵氏宠爱有加的武帝这一次却勃然大怒，赵氏吓得连连叩头请罪。武帝命人将赵氏送去掖庭狱，赵氏不肯走，回头向武帝求饶，武帝呵斥说："快走，你活不成了！"没过多久，赵氏就去世了。
关于赵氏的死因，《汉书》大概是为了避讳，只说是忧郁而死。但在其他史书中，都记载赵氏是被武帝赐死的，死后葬于云阳。
前面讲过，赵氏的身世很奇异，天生双手握成拳状，并且掌心有一只玉钩。比这更为奇异的，则是她死后所发生的事情。
