谭延闿的童年就是在这样的家庭里成长的，他同情母亲的遭遇，可又无能为力。为了帮母亲挣口气，他从小就发愤苦读，誓要出人头地。延闿幼承家学，天资聪颖，少年临池，颇有笔力，连皇帝的老师翁同龢都非常看好他。后来，谭延闿少年及第，光耀门楣，谭钟麟才向全家宣布："李氏夫人可以入正厅就座用膳。"
1916年，谭延闿的生母李氏去世，但是，出殡那天，他们家里人却不让李氏的灵柩走大门，因为李氏的身份是妾，只能走侧门。时为湖南督军的谭延闿火了，躺倒棺材上，喊："我谭延闿死了，抬我出殡！"这样一搞，李氏的灵柩才走大门出殡。
谭延闿的妻子方榕卿，是江西布政使方汝翼的女儿，两家本为世交。方夫人温柔贤德，孝敬公婆，体贴丈夫，两人感情深笃，相敬如宾。后来方夫人染病，为免谭延闿因私废公，也一直相瞒，直到1918年3月3日在上海病逝。
