张安世身兼选拔官员的大权，我们都知道这是一个很有油水的肥差，但是，他从来不会让被举荐人知道，他在幕后的举荐之功。有人听说是张安世举荐的，带着礼物去向张安世表示感谢，但是张安世却从来不接受礼物，坚决不承认自己举荐了。所以，后来有人说张安世是一个尸位素餐的庸官。
肆
他的儿子认为他太软弱了，被人说庸官也不自证清白，张安世便开导儿子说："你爷爷怎么死的，你不知道吗？就是因为秉性太刚而死。有多少大臣因为野心太大而亡，累及家族，霍氏家族的教训就在眼前啊！我之所以这样，一方面是为了我，另一方面也是为了你们后代着想啊！如果身居高位，就不知道自己是谁了，骄横跋扈，那就是在招祸啊！你以后就知道我这样做的好处了。"
正是处于这样的考虑，张安世对家族成员要求非常严格。
