商山四皓隐居时条件非常艰苦，他们住岩穴，食野菜，但四人用不忘心忧天下。他们隐居的很大一个原因是不忍看到秦末文化的浩劫。秦始皇三十四年，丞相李斯"请史官非秦记皆烧之。非博士官所职，天下敢有藏诗、书、百家语者，悉诣守、尉杂烧之。有敢偶语诗书 者弃市"。除了法家、医药、卜筮和农林书籍外，其他各家的书籍一律被焚烧。
秦朝建立以后，秦始皇继以严厉的军事手段镇压和打击原六国地区的反抗者，设置郡县全面替代战国时期的分封制，车同轨。书同文，又徙天下豪富於咸阳十二万户。秦朝法令繁苛，暴政如虎，焚书坑儒，滥使淫刑。很多儒生不愿为秦效力，纷纷逃离咸阳，四皓也就是在这一时期离开咸阳，去商山隐居的。
二、四皓为什么拒绝刘邦邀请
秦朝时，商山四皓的归隐是迫于现实的无奈，并非内心真正追求田园生活。所以四皓隐居有一个目的，就是"以待天下之定也"。如果河清海晏，四皓并不是没有再出山的可能。然而汉朝建立后，四皓却拒绝了刘邦的征聘，"征之不至，乃深自匿终南山。"这是为什么呢？《史记》上说："四人年老矣，皆以为上慢侮人，故逃匿山中，义不为汉臣"。也就是说，第一个原因是四皓此时年事已高，二是他们都不太喜欢刘邦的为人，但这只是四人隐匿不出的借口而已。
