可惜好景不长，阿娇虽然天生丽质，却始终没能为刘彻生下儿女。刘彻很不满意，于是移情别恋，宠幸卫子夫。阿娇知道后，嫉妒起来一发不可收拾。为了让丈夫回心转意，她数次寻死觅活，又命巫女楚服在宫中行巫蛊之事，祈祷鬼神。事情败露后，刘彻大怒，将楚服腰斩于市，株连数百人。刘彻下诏"皇后失序，惑于巫祝，不可以承天命。其上玺绶，罢退居长门宫"（ 《汉书·外戚传》）。至此，居皇后之位11年的阿娇被废黜。
阿娇被囚禁在长门宫，终日以泪洗面，孤寂愁闷。她听说司马相如文章写得好，便千金买赋，请司马相如作《长门赋》，希望以哀婉凄切的文字，感动刘彻。可是，"但见新人笑，不闻旧人哭"。刘彻早已另有新欢，又岂能破镜重圆。最终，阿娇在苦苦期待中，死在了长门宫。
卫子夫少年天子刘彻去霸上祭祀先祖，回宫时顺路去了姐姐平阳公主的府邸。平阳公主很清楚皇帝弟弟的喜好，便为他准备了众多的美人，供刘彻挑选。可是，刘彻一个也没看上。饮酒时，平阳公主召来歌伎助兴。没想到，刘彻一眼就在一群歌伎中看中了卫子夫。刘彻以更衣为由，命卫子夫前去服侍，得到宠幸。
平阳公主知道弟弟喜欢卫子夫，便把她送入宫中。卫子夫入宫之后，生下三女一子，儿子就是刘据。刘据是刘彻的第一个儿子，出生时刘彻已经29岁，因此非常高兴，册立卫子夫为皇后。几年后，又立刘据为太子。可惜岁月无情，卫子夫终究会年老色衰，色衰则爱弛，再也得不到刘彻的宠爱。
