谢安四岁的时候，就被名士看中，对他赞赏有加，说他有独特的风采，日后必定会有出息。谢安童年时，处事已经非常沉着冷静，思考问题条理分明，得到很多人的器重，在上层社会中已经小有名气，但是谢安不想凭借自己的出身走上仕途，最初朝廷想让他进入司徒府，谢安以生病为由推迟了。
拒绝朝廷之后，谢安干脆在东山隐居，和一些名士墨客经常往来，不是打猎捕鱼，就是和王羲之等人作诗吟对，死活不想做官。他拒绝了朝廷的数次征召，一心只想做自己的生活。
这种状态一直持续到谢安四十多岁，公元359年，弟弟谢万北伐判断失误，犯下大错被贬官后，谢氏朝中权势一落千丈，为了重振家业，谢安无奈出山入朝为官。
