有人认为曾国藩属于是那种贪图享乐而不顾全大局的人，难成气候。甚至弹劾曾国藩，撤销他的职务。
其实曾国藩在这个时候纳妾是他的一个大智慧，当时朝廷重用满人而不用重汉人。一方面是为了发展自己人的势力，另一方面就是为了防范汉人。满清对汉人有着极强的防范心理，认为汉人极容易造反，所以在任用官员的时候，许多汉人都是做的文官，没有掌握军队。这样一来即便是有造反的心，也不会给统治造成太大的隐患。
太平天国运动爆发以后，为了镇压这场运动不得不重用汉族官员，让汉族官员掌控军队。而当时的主力军队湘军为曾国藩所创，淮军首领李鸿章是曾国藩的学生，两人手上掌握了数量可观的军队。
