于家祖籍山东潍坊，据说是为了躲避旱灾而离家出走的。幸运的是，于家是医生出身，他们在路上靠着救人生活。然而，在他们为自己的前途担忧时，一位衣冠不整的算命先生对他们说："只要你继续回去，当你在房子里遇到一头母牛，或者遇到一棵树，你就可以在那里安顿下来。将来，你们一定会成为一个富豪。"
后来，当他们来到榆树下时，他们发现屋顶上有一头牛在吃草，那是因为当地人喜欢挖地窖。牛在地上吃草，就像爬上屋顶一样。然后，他们看见织布车挂在树上，便立刻想起了算命先生的话。就这样，于家人结束了漂泊的日子，正式定居在这里。
于氏家族曾是一定时期内罕见的大家族。然而，在家族发展壮大后，于家的一些后人和屋内的看门人却依靠家族的力量欺压村民。后来，这一现象被当时名不见经传的学者汤文硕和常顺将军一起向皇帝报告。
有12项罪行，皇帝看了之后非常生气，立刻开始清理于家的势力。于钟霖自杀后不久，于荫霖被停职，暂住京城。直到甲午战争爆发，他才终于投入使用。
