此后随着朝代的不断变迁，历朝皇帝都对孔子推崇有加，使得他的地位也越来越高。宋朝的时候，士大夫的地位远远超过其它任何一个王朝，为此孔子也被皇帝封为了衍圣公。由于孔子早已化为一钵黄土，这个称号自然只能由他家族的后人享用。
从那个时候开始，他的后人一代接一代，都把这个封号延续下去。但很有意思的是，当初宋朝的时候，这个爵位只不过是个八品，但经历元、明两朝，分别给提到了三品和一品。这让清朝皇帝犯了难，再没有办法给提升官品了，但后来皇帝也想出了办法，就是给了这个家族更多的特权，比如可以皇宫骑马，比如可以行御道，这些都是其它官员根本享受不到的待遇。
一开始的时候，担任衍圣公的孔氏家族族长，还要兼任当地的县令。后来由于他的事务实在太过繁杂，除了家族内部的大小事务以外，还要大力宣扬祖宗思想，为此也就把县衙的事交给家族中的其他人打理。不管怎样，反正这个县令总是姓孔。
