霍光死后，霍氏家族有一个核心人物：霍显。
这女人本是霍府婢女，颇有几分姿色，霍光元配闾氏病故后，她凭借霍光的宠爱，登堂入室，成了霍光继室。
霍氏家族最后遭灭门，跟这女人关系很大。这女人跟霍光生有一小女，名叫成君。为了让自己的女儿成为皇后，这女人仗着霍光的权势，竟胆大包天地买通宫廷女医淳于衍，给汉宣帝的患难妻子，刚产子的许皇后下毒，最终许皇后含冤惨死。
霍光得知此事后，没能认清此女乃霍家祸水，而是选择了沆瀣一气，他先是"劝慰"汉宣帝以社稷为重，厚施仁政，不要再追查元凶，进而他又精心周旋，"迫使"汉宣帝将他的女儿霍成君册立成了皇后。
汉宣帝有"愿求故剑"，不忘患难妻的千古佳话，霍显竟敢阴谋毒杀许皇后，只此一罪已足够让霍家万劫不复了。
可悲的是，作孽之人却无警醒之刻。
霍光死后，自觉霍家权势依旧稳固，霍显这个女人嚣张的很，她一面为先夫越制扩建坟茔，一面又为自己广修宅第，制作黄金为饰、锦绣为茵的辇舆，更令人瞠目结舌的是，她居然还将昔日的旧情人召来，整日奢靡无度，游乐不止。
霍显如此，霍氏其他子孙也不甘落后，霍光的儿子、侄孙，皆大造宅第，招聚宾客，走马平乐馆，围猎黄山苑，甚至依制对汉宣帝应有的朝请也懒得参加，经常派个苍头奴仆去应付了事。
欲使霍家灭亡，先使霍家疯狂。
见霍氏家族日趋无所忌惮后，汉宣帝鉴于在朝中的根基尚不稳固，接下来的打击之举很稳健、很高明、很有章法。
第一步，汉宣帝特意提拔了一个人。
他采纳御史大夫魏相的奏议，拜授张世安为大司马大将军，以继霍光之任。
此举高明在哪里呢?
张世安是霍光昔日的主要帮手。正因为如此，当张世安得知此项任命后，他慌忙请求召见，惶恐免冠跪奏，恳请汉宣帝收回圣命，保全他性命。
然而在汉宣帝看来，张世安昔日虽是霍光心腹，但此人为人谦恭，谨守君臣之礼，此刻任用他，不仅可以借此消减霍氏在朝中的权势，而且还可以麻痹霍氏，为稳中进击夯实基础。
