关陇集团最初来源于宇文泰所纠合的势力。宇文泰是鲜卑族人，一般把他作为北周的创始人。宇文泰当初割据关中时，为了解决关陇之间胡族与汉族之间的关系，而把西迁的汉族人的籍贯都改为关陇，以消去因地域差异而产生的政治鸿沟。
李渊的祖先本来是赵郡人（今河北赵县），结果在这次更改的过程中，变成了陇西成纪（今甘肃泰安西北）人。李渊的祖上为了在成纪取得身份和地位，索性就称自己是十六国时西凉的建国者李暠[hào]的后人。这样，李渊的祖上在成纪也就取得了一定的社会地位。
李渊的祖父李虎，是西魏的八柱国之一，所谓的柱国，就是柱国大将军的简称，这是西魏时期特有的名称，是关陇集团的最高阶层代表，职权比宰相还高。李渊的母亲，也是西魏的开国功臣、与李渊祖父李虎同为西魏八柱国之一的独孤信的二女儿。
隋朝末年，李渊起兵灭隋，主要依靠的便是关陇集团的支持。而唐太宗李世民能够以次子的身份与太子李建成争夺皇储，并在"玄武门之变"中击杀李建成及四弟李元吉，则主要是依靠了"山东集团"。
