同当初推让齐地三万食邑一样，这就是张良另一个聪慧之处--看得清局势，不会枉自称大、当退则退。从"帝者师"到"帝者宾"，位极人臣、实现人生目标的张良，更像是看透了人生，从而推崇起"虚无主义"！
《留候世家》中记载道：
"家世相韩，及韩灭… …封万户，位列候，此布衣之极，于良足矣。愿弃人间事，欲从赤松子游耳。"就如文章开篇写道，张良往上几代皆为韩国宰相，韩被灭，张良走上向秦复仇之路。而后，凭借才智在刘邦身边某得一席之地，成为帝师。被封万户食邑，位列诸侯，对变为平民布衣的张良来说已是莫大荣耀，余生目标完成，足矣。
最后，他决定放弃一切，辞封归隐，与赤松子一同专心修道，之后，更是学辟谷（也就是绝粒），以轻身成仙。再后来，刘邦去世，最终，由吕后掌控朝政大权。经过废太子一事，张良对吕后也算有恩，吕后听说张良辟谷一事后，就曾多次劝说他，让他"勿自苦"。一番思索下，张良也觉得人就匆匆一世，自己又何必苦行到此！于是，又恢复了正常进食。
