民间传闻，谭延闿没被慈溪太后点中做状元纯粹是因为他出身湖南，又姓谭，刚好戳中了太后心里的某根刺。不管传闻真相如何，谭延闿都功成名就，让父亲十分满意，所以庶出身份对他影响不大，但对他母亲来说就不是这么回事了。
谭延闿的母亲姓李，她并不是谭钟麟的正妻，只是个不受重视的小妾，而且还是从丫环抬为妾室的。这种妾室一般称为"通房"，《红楼梦》里的平儿与袭人，就分别是贾琏和贾宝玉的通房丫头。通房丫头办了手续，可以称妾，地位却很低。
李夫人虽然为谭钟麟生了个有本事的儿子，在谭家这个大家族里却每天都要伺候一大家子的饮食起居，用餐时得站在桌边摆碗添筷，像丫环一样卑微，如果不小心犯了错，要受到严厉的斥责。
谭延闿虽然成长在这样的旧式大家族里，但他对这些封建礼法很不满。他用功读书，很大一部分原因就是为了改变母亲的命运。之后谭延闿一度坐上了湖南都督的位子，但他36岁那年母亲去世了，族里亲戚仍然不准她走大门出殡。
