刘贺，是一个淫浪色君，看见美女就色心欲起，按捺不住自己的洪荒之力。当皇帝也许不在行，但调戏女人倒有一套，调戏得女孩家春心萌动，宫中不少有姿色女人被搞上了龙床，荒淫床帏之事没少干。
不过，很悲剧的是，刘贺刚刚当了27天皇帝，就因为目无法度被霍光和上官太后给废了 ，沦为西汉王朝在位时间最短的皇帝
随后，在大臣们的建议下，霍光选择了流落民间的皇曾孙刘病已（汉昭帝大哥戾太子刘据之孙）。（注：关于这一点，有人认为是因为卫霍两家的关系，所以霍光有意选择的刘病已，其实不完全如此。虽然卫青和霍去病之间关系非常亲密，但是毕竟霍光与霍去病是同父异母的兄弟，而卫青和霍去病之间的联系恰恰是因为霍去病的母亲是卫青的姐姐，所以卫氏与霍光之间并没有什么血缘关系。这也就可以理解，为什么在戾太子刘据遇害之时，霍光没有出手相助了）
汉宣帝（刘病已）即位后，将自己的结发妻子许平君立为皇后。结果仅仅过去三年，霍光的妻子霍显便暗中收买女医淳于衍将许平君毒杀了。此举虽然可以说霍光事先并不知情，但事后却也是他默认了的。随后，霍光的小女儿霍成君入宫，成为汉宣帝的第二任皇后。
