在隋朝以前的西晋，堪称是世族的西晋。司马家虽然通过篡权夺得天下，但由于他们不是正统，因此需要有影响力的大族支持，加上当时世族的势力已经十分庞大，因此司马家族不敢招惹。而这些让司马家族都不敢招惹的家族就包括琅琊王氏、陈郡谢氏以及兰陵萧氏等，他们都是江左地区的世族，因而他们也被称作江左集团。
这些世族的权势大到什么程度呢？在西晋内乱，胡人入侵以后，西晋灭亡，司马家族只能南渡，仓皇逃到东南地区，建立东晋。不过对于逃难的皇族，当地的世族却没有什么尊重，若不是王导等江左集团拥护司马家族，他们根本没有能力驾驭当地世族。晋朝时世族势力的庞大，由此可见。
而在晋朝以后，南北朝分裂，皇帝换了一位又一位，不变的，却依旧是那些世族。不管谁掌权，他们为了获得支持，只能倚仗世族。而且当时官员的选拔权力就握在世族手中，朝中的官员大多都是世族推荐上去的，他们自然听命于世族。因此直到隋朝时，世族的势力依旧十分惊人，不管是江左集团，还是山东集团，亦或是掌握军权的关陇集团，都极大限制了皇权。
