宣帝的母族和祖母一族当不了外戚，还不能让霍光放心，因为许平君是名正言顺的皇后，她的家人外戚身份是连霍光也无法否认的，这也是一股让霍光不放心的力量。于是在本始三年，霍光的夫人利用许皇后临产前得病的机会，指使女医淳于衍暗中除掉了皇后许平君。
史载"皇后免身后，衍取附子并合大医大丸以饮皇后，有顷曰："我头岑岑也，药中得无有毒？"对曰：无有。遂加烦懑，崩。"
皇后暴毙，那些医生全部被捕，特别是女医淳于衍遭到连续的拷问。霍夫人把实情告诉了霍光，而霍光的反应是："光大惊，欲自发举，不忍，犹与。会奏上，因署衍勿论"。这段话的意思是，霍光知道自己的老婆毒杀了皇后，大惊之下，准备造反，后来想了想，又忍住了。后来他在给淳于衍定罪时，坚持医生无罪，认为皇后死于难产，是正常死亡。宣帝见霍光如此坚持，此时自己羽翼未丰，也不敢再深究，只好放了淳于衍。
许皇后死后不到一年，霍光的女儿霍成君名正言顺地做了皇后，宣帝想倚重许氏外戚的愿望又成了泡影。
