然而昭帝的婚姻并不那么完美。昭帝的私生活也被霍光严格的限制，刘弗陵在十二岁的时，纳年仅6岁的上官氏为皇后，由于在辅臣争权中，上官父子失败被诛，而上官皇后是霍光的外孙女，免遭废黜，但是经过此事昭帝对上官皇后是越发冷落。而霍光为了让上官皇后独得恩宠，增加怀孕的几率，不许其他后宫嫔妃进御，并让宫女们穿上"穷绔"（一种特制的内裤，不方便解开），以防昭帝与宫女发生暧昧关系。然而直到昭帝去世，上官皇后也没能生育子嗣。
公元前74年，昭帝崩逝于长安未央宫，年仅21岁。野史记载昭帝是上厕所蹲坑久了，气血上涌攻心而死。然而不管是蹲坑而死还是病逝，昭帝年仅21岁便去世不得不让人怀疑。毕竟年少之时他体格健壮，武帝也正是看中了他这一点才选择让他继位。况且21岁正是一个人的年壮之时，突然去世不得不令人猜疑。，这一切或许都与大将军霍光有关。
