赵达纶生于1789年，1823年中进士，在陕西做过知县、知府。赵尔巽的父亲赵文颖，生于1814年，1845年与弟弟赵文起同时考中进士。1854年，赵文颖以同知衔任山东阳谷县知县。到任第五天，阳谷即被捻军围困，他守城殉难，也因此得入祀山东昭忠祠，并在《清史稿》里有传。
赵尔巽兄弟四人，他行二。大哥赵尔震与其同年中进士，官至工部主事，后因修西陵工程有功被授二品衔。其幼弟赵尔萃，1889年中进土，历任直隶州知州、三品衔候补道。三弟赵尔丰虽只为道员出身，但后来官至四川总督。如此，仅赵尔巽兄弟四人，就有"一门三进士，弟兄两总督"。再加上赵尔巽的祖父、父亲、叔叔，在短短66年内，则是"一门六进士"了，可谓罕见。
赵尔巽
据赵尔丰的曾孙、作家赵珩在新作《二条十年》一书中说，赵文颖殉难后，赵家家境败落，穷得连纸都买不起。但赵尔巽的母亲还是以一己之力，抚养大了四个孩子，并亲自负责四个孩子的教育，最后成就了"一门三进士，弟兄两总督"，成为当地励志佳话。为了纪念她，在今山东泰安安葬赵尔巽母亲的地方，曾被称为"奇母地"。
