可国不能一日无君。本来霍光想立广陵王的，但遭到了大臣们的反对，最后商议定为了昌邑王刘贺。昌邑王刘贺，汉武帝刘彻的第五子刘髆的儿子。本来很正常的立君，奇怪的是张安世竟然被擢升为车骑将军。可见，张安世在此事上是出了力的，很大可能是张安世提出立刘贺。此时霍光很重视张安世，对张安世言听计从，最少也是相处融洽的。
可是，刘贺的荒唐和反常在诸侯王和大臣之间是有口皆碑的。为什么在官场混迹几十载的霍光和张安世会选择这样一个人当皇帝？
原因大致有两个方面；1，张安世的父亲是酷吏张汤，张汤办案，株连极广，以至于杀人无数，得罪的人可谓是遍布天下。作为张汤子嗣，无论怎么样都需要小心谨慎。2，因为和霍光商量废除汉废帝，并派遣田延年联络丞相杨敞。如此机密的事情却被光禄大夫夏侯胜一语挑明，霍光立刻怀疑张安世，张安世为洗刷清白，召来夏侯胜，这才知晓，并不是张安世泄露。而是因为夏侯胜托词于古籍记载的内容，猜测出了有人准备谋反。至此，只能说霍光和张安世融洽关系有了裂缝，至少在张安世的眼中是如此。
所以，此时张安世在没有弄清楚，或者根本就没有想过去搞清楚霍光的想法之前，根本不会去随意的反驳霍光的建议。而此时的霍光，权倾朝野。已然做到了宫廷内外的完全掌控，对于刘贺的为人一清二楚。但相对来说，这种荒唐之人却是很容易掌控。而经过张安世哥哥教导过的汉武帝的曾孙刘病己，（后改名为刘询，也就是未来的汉宣帝。）到时便不好说，因此火光不说，张安世也不吐口。这样就促成了汉武帝的孙辈昌邑王刘贺就位。
这让张安世感悟到了诸多的为官之道。
