谢晦,字宣明,是陈郡阳夏(今河南太康县)人。他的祖父谢朗,是东晋东阳太守。谢晦最初为孟昶建威府中兵参军。孟昶死后,宋高祖刘裕问刘穆之:"在孟昶的部属中,谁适合到我的府中?"刘穆之推荐了谢晦。于是宋高祖刘裕便任命谢晦当太尉参军。
义熙八年(412年),谢晦升任为太尉主簿。随同宋高祖刘裕征讨司马休之。当时徐逵之(刘裕长女婿)战败被杀,高祖十分愤怒,打算亲自披挂铠甲上岸作战,将领们都极力劝阻,高祖不仅不听,反而更加愤怒。谢晦上前抱住高祖,不让他上岸。高祖说:"你不放手我便杀了你!"谢晦说:"天下可以没有我谢晦,但是不能没有了你明公,谢晦死了又有什么关系呢?"此时恰好胡藩已登上江岸,敌人战败退走,于是高祖才作罢。
谢晦风度翩翩,善于言谈,宋高祖刘裕对他非常喜爱和欣赏,其他官员们是远远赶不上的。宋高祖刘裕想任用谢晦为从事中郎,征求刘穆之的意见,刘穆之坚决反对。因此刘穆之在的时候,谢晦一直没有能升官。刘穆之去世的消息传来,宋高祖刘裕哭得很伤心。谢晦当时正值班,听说后非常高兴,并亲自到阁内落实刘穆之的死讯。
永初三年(422年)三月,宋高祖刘裕病重,配给谢晦卫兵二十人,让他和徐羡之、傅亮、檀道济同时服侍自己。宋少帝刘义符即位,加任谢晦为中书令,与徐羡之、傅亮共同辅佐朝政。宋少帝刘义符被废后,司空徐羡之宣布圣旨,任命谢晦代理荆州、湘州、雍州、益州、宁州、南秦州和北秦州等七州诸军事,官为抚军将军,兼任护南蛮校尉、荆州刺史,希望叫谢晦在外藩作为援助,这是因为徐羡之等考虑到宋太祖刘义隆到达京城后或许会用其他人,所以才突然有这一任命。