不过汉宣帝还是留了一手，《资治通鉴》记载："令群臣得奏封事，以知下情。五日一听事。"
意思就是说：你们继续享有霍光的权利，而我作为皇帝也总得知道一下朝中的情况吧，五天听一次总行吧？大家各退一步，和气生财嘛。
所谓伸手不打笑脸人，汉宣帝已经退步了，霍家人总不能上纲上线吧？这样就显得太小气了。
能够接触到群臣，自然就好寻找外援了。汉宣帝一边稳住霍家，一边暗自发展自己的势力，时不时地弘扬一下霍光的功劳，让霍家人飘飘然，时不时在给他们一些赏赐，使他们目中无人，就连霍家人做得欺男霸女抢占土地等罪行，汉宣帝也一概不管。
这在霍家人眼里，原因就是两点：汉宣帝是一个废物；他惧怕霍家。
