刘彻的第一皇后是他少年时发愿"金西藏娇"的陈阿娇，陈阿娇是刘彻底姑母大长公主刘嫖之女，于汉景帝年间嫁予太子刘彻为太子妃。建元元年（前140年）被立为皇后，元光五年（前130年），以"惑于巫祝"罪名废黜，退居长门宫。陈皇后并没有给刘彻底留下一子半女。
第二任皇后卫子夫本是平阳公主府中的歌舞演员，因其长相甜美，于建元二年（公元139年春）被到平阳公主家走亲戚的汉武帝临幸，并带入宫中。卫子夫是史上有名的贤后，她为刘彻生有一子，就是刘彻的长子刘据。
除了两任皇后，刘彻还先后宠爱过三位有名的美人，李夫人、王夫人与赵婕妤（即勾弋夫人）。
