李永芳有九个儿子，其中三个做了高级将领。长子李延庚做了正三品的参将、吏部汉承政；次子李率泰，官至大学士、闽浙总督，封一等男爵。三子刚阿泰，官至宣府总兵。五子巴颜，官至都统，封一等昭信伯，改隶汉军镶黄旗。老五的爵位比李永芳还高出一个等级。一是因为李永芳的面子大，二是因为这三个的个人才华。李家威威赫赫。
在有清一朝，一提李额驸家，无论是在沈阳，还是进京以后，那都是响当当的，无论是政治还是军事，都有人家的重要地位。
乾隆十七年（1752年），李永芳的玄孙李侍尧调任为热河副都统。当时，吏部有人提出异议，乾隆帝驳斥道："李永芳的玄孙，怎能与其他汉军相提并论？"李侍尧才华出众，一路飚升，后升户部侍郎、尚书、两广总督，又加了高级荣誉衔"太子太保"。后因出征台湾有功，得以入列"紫光阁平台湾二十功臣"。
清朝统治者有一个过人的长处，就是军功为上。立功不白立，卸磨杀驴的事几乎没有做过。祖先的功劳，后世可以一直得到相应的照顾，功劳永在，不过时也不过期。如果后世子孙确有才华，那么，除了可以承袭先辈的爵位之外，还可以进一步提升。比如李永芳的五子巴颜，无论是爵位还是官职，都超过了父亲。李永芳一族的显赫，除了他家优良传承后，也与清代的德政艺术有直接关系。
