在唐太祖的直接干预下，最终《氏族志》进行了重新排序，皇族李姓被列为首位，新的四大家族为"李、（一说第二位为长孙氏）、郑、崔、卢"。
唐高宗在位时，宰相李义府出身寒微，其子和崔、卢、李、郑等山东世家攀婚，遭到拒绝，因此怀恨在心，联合许敬宗，怂恿皇帝禁止崔、卢、李、郑等家族相互联姻。
唐高宗于是下诏："陇西李宝、太原王琼、荥阳郑温、范阳卢子迁、清河崔宗伯、崔元孙、赵郡李楷，这七姓十家，不得相互通婚。"
而事实上，这个诏令形同虚设，这些世家大族仍然"男女皆潜相聘娶，天子不能禁"。有的家族甚至连皇帝的面子都不给，"身未免于贫贱"，却不与皇族李氏联姻。
唐文宗在位时期，他希望和宰相郑覃联姻，令其孙女嫁给皇太子，郑覃却委婉拒绝，而将孙女嫁给了九品官员崔皋。
唐文宗叹息说："民间联姻，都不会计较官品，却计较家族的功绩和经历。我李氏皇家，拥有天下二百年，难道还赶不上崔、卢这些世家吗？"
