儿子跟他同朝为官，他认为父子俱为显贵，便上疏请求皇帝将儿子放到外地为官。
他的侄子张彭祖曾和汉宣帝一起读书，他的哥哥张贺对汉宣帝又有救命养育之功。张贺死后，汉宣帝追封他为恩德侯，张彭祖被封阳都侯，孙子张霸被封关内侯。一家子受到如此浩荡的皇恩，这让张安世惶恐不已，他多次谢绝、反复陈情，但是皇帝却不收回赏赐，这让张安世如履薄冰，推辞不掉，他便只受其名，将俸禄上交国库。
更让人难以置信的是，张安世生活竟然不如普通人家，他的夫人亲自纺织，家中仆人耕种土地,一家人几乎做到自给自足。他平日里还经常教育儿孙要戒除骄气，不可仗势欺人，如果有人违反他的规定，他一定会亲自动手严惩，从不姑息。
怪不得连人家能历任三朝而不衰！后代八世均为侯！
