面对步步被动的局面，霍家人怎么办？在心理失衡下，霍家人一共召开了三次"霍氏家族常委会"，商讨对策。
第一次，霍光的遗孀霍显坦言：当年皇后许平君，就是她亲手安排女医毒死的！霍显本来想以此告诉霍家人，咱们没有退路，只能拼到底。可是这条重磅炸弹，却搅乱了霍氏子弟的方寸，他们反而没心思往下讨论，结果不了了之。
第二次，赵平的门客石夏，和霍云的门客张舍，建议霍氏联合上官皇太后（霍光的外孙女），发动政变，废掉汉宣帝。这件事泄露后，汉宣帝竟然莫名其妙地叫停了廷尉对二人的抓捕。霍家紧急召开会议，形成决议：早晚是死，反吧！
没想到汉宣帝又下了一道旨：霍家子弟怠慢皇太后，管家冯子都屡屡犯法，霍云、霍山罢职回家思过，对霍氏严厉训斥！
