曾国藩的女儿为"纪"字辈，由长及幼，依次名为"静、耀、琛、纯、芬"，其中大女儿曾纪静最先出嫁。在她6岁时，并许配给了翰林院的同事、好友袁芳瑛的儿子袁榆生，单从袁芳瑛来看，很符合条件，门当户对，能看着长大，还是书香门第之家。可是，等到曾纪静18岁嫁过去时，却发现袁榆生早就有了老婆，她只能做个小妾。曾国藩得知后，也无可奈何，毕竟嫁鸡随鸡嫁狗随狗，改嫁是不可能的。于是曾国藩只好一个劲地劝曾纪静"吾家读书居官世守礼仪，尔当告诫大妹、三妹忍耐顺受。……尔谆劝诸妹，以能耐劳忍气为要。"
为了弥补过错，曾国藩还特意把袁榆生调到自己身边任职，以便亲自调教管束，没想到这个袁榆生胆大包天，即使在曾国藩的眼皮底下，也毫不收敛，吃喝嫖赌，五毒俱全，除此之外，袁榆生还经常打着曾国藩的名号四处坑蒙拐骗，收索钱财，毫无办法的曾国藩只得宣布"以后不再与之相见，不许入我之公馆，永远绝之"。
