四岁就被称为神童的谢安，出自陈郡谢氏，当时在以门第论高低的魏晋时代，陈郡谢氏，只是一个低等士族而已。
在三国曹操时代，谢安的曾祖父、陈郡谢氏的始祖谢缵只是一个小小的五品"典农中郎将 "，谢安的祖父谢衡，则是一位西晋的大儒；到了谢安的父亲谢裒时期，谢裒与自己的哥哥谢鲲一度都是琅琊王氏权臣王敦的幕府门客。
所以，即使后来谢安的父亲谢裒晋升至吏部尚书、太常卿等高级官职，但当谢裒想向作为蜀汉名相的诸葛亮族亲、在东吴和曹魏西晋都家族显赫的诸葛恢，为双方子女求婚联姻时，诸葛恢直接拒绝说，陈郡谢氏是个什么东西，"不能复与谢裒儿婚。"
还有一次，陈郡谢氏家族与其他士族一起聚会宴饮，谢安的弟弟谢万喝多了想尿尿，就当众寻找尿壶，对此士族阮裕竟然公开鄙视说：
"新出门户，笃而无礼。"
