不过张良也没有在留城享受封赏，而是选择隐退，一是经过多年奔波，他的身体积劳成疾，已经无力再操劳国事，需要休养。第二个原因也许是张良看到了韩信等开国功臣的悲惨结局，而选择远离朝政，不问世事，图个清静。张良来到了秦岭以南的紫柏山过起了田园生活，摒弃人间万事，潜心研究道家的黄老之学，静居行气，专心悟道，安享晚年。
公元前186年（一说是前185年），"后刘邦时代"吕后执政时期，张良在紫柏山病逝，谥号"文成侯"。关于张良死后葬于何处，正史没有明确记载，全国有河南兰考、山东微山等多处张良墓，到底哪一座是真的尚无定论。四百年后的东汉末年，天下大乱，张良的十世孙，张鲁割据汉中三十年，自立为王，他感念先祖不以盖世之功受封，不恋庙堂高位的超凡品德，在张良当年隐居辟谷的紫柏山修建了这座"汉张留侯祠"。
