正是因为有这层关系，公元617年，李渊在太原起兵反隋，他还不忘拉拢清河崔氏，希望清河崔氏能够支持自己。可是，9年后，李世民通过"玄武门之变"登基后，对清河崔氏的态度大变，李世民公开表示：
吾实不解山东四姓为何自矜，而人间又为何重之？
这里的"山东四姓"指的是崔、卢、李、郑四家，李世民的意思是说："朕很不明白 ，这四家人为何如此自负，而天下人又为何会如此看重他们？"
这还不算，根据《贞观政要》记载，李世民还对房玄龄说："山东四大姓氏明明已经家道中落，为何还要打肿脸充胖子，他们依靠祖上的辉煌，过分夸大自己，每逢子女婚姻，总要收很多的彩礼，像贩卖人口，这种风俗不可取。朕觉得，他们德不配位，朝廷应该尽早打压他们的嚣张气焰。"
