其实这一切的祸根，早就在公元前71年就已经埋下，而亲手埋下祸根的人，正是霍家女主人，霍光的老婆霍显。霍显是一个骄奢跋扈，对权力富贵极度贪婪的女人。作为霍家女主人，她不但没有谨慎持家，管教子弟，反而放纵霍家子弟和家奴横行京城，做出了许多违法乱纪之事。
刘病已即位之后，许多大臣提议立霍光之女霍成君为皇后。不料刘病已与结发之妻许平君患难情深，坚持立了许平君为皇后，还留下了"故剑情深"这个典故。霍光对于这件事倒没什么意见，反倒是霍显出离的愤怒了，因为她想让女儿霍成君当皇后，以保霍氏一门长久富贵。这个胆大妄为的女人居然指使女医淳于衍毒死了怀孕即将临产的许皇后。结发妻子惨死，一尸两命，刘病已悲痛欲绝，下令把所有侍候皇后的医生全抓起来，彻查此事。
霍成君
许平君
霍显把这件事告诉了霍光，并让霍光利用威势，压服宣帝不要再追究此事。霍光惊骇不已，默然良久，最后还是进宫向刘病已施加压力。刘病已听霍光如此说，哪里还能不明白，这件事就算不是霍光做的，也是与他有着密切关系的人做的。刘病已果然不再调查皇后死因。霍氏灭亡的祸根就此种下。
