皇后驾崩之后，自然有嫔妃去续位。
此时，霍光不便和张安世商议了，也不能商议。首先，皇太后是霍光的外孙女，自己又是大将军，此时开口，即便不想谋反，也有谋反的嫌疑。其次，皇上此时立皇后如此的大事，会不会找臣下商议，或者是公议。但史书都没有记载，这就很是奇怪了。汉宣帝以往的表现，就连减免赋税的多少都要议上一议，为何此时没有任何的动静。要么是有了定议，要不是采纳了某人的意见。那采纳谁的意见不得而知。而是迅速的立霍氏为皇后。不过，史书上记载一段话说，一旦有大事发生，汉宣帝总要找张安世商议，有了定议后，张安世告病假。等出来诏告，张安世便派人去丞相处打听消息，然后会装作刚刚得知一般。致使朝中大臣都不知道汉宣帝已经和张安世商议过了。
三，谨慎小心，内因和外因的双重作用。掌控宫廷内外的霍光对张安世没有一点戒心吗？那是不可能的，在霍光和田延年之间的争执中，就可以看出。当时废帝时，是派了田延年去的丞相家。受命去的田延年当时是应该极受霍光信任的。废帝的大事如此重大，以至于杨敞一听就吓出了一身汗。在田延年和杨敞的老婆双重劝说下，杨敞答应联名上书废帝。没过多久，田延年因为贪污了三千万，被告发。霍光直接找到了田延年，问有没有这回事。田延年也不可能直接的承认，说没有。霍光说，那好，既然你没有，我就穷追到底。这件事以田延年自杀而结束，死在了霍光手上。虽然此事和张安世并没有多大的关系，但是霍光的不念旧情，穷追猛打的做派。让本来如同惊弓之鸟的张安世，对于霍光更加的戒备。
张安世一直是在事事斟酌霍光的意向，同时固步自封，不轻易对霍光的做法或者是朝政的变化多言，这在史书上可以显而易见，因为自从迎立汉宣帝之后，直到霍光病逝，关于张安世的记载是没有一词半语。
