李渊的祖父李虎，在西魏时官至太尉，是西魏八柱国之一。李渊的父亲李昞，北周时历官御史大夫、安州总管、柱国大将军，袭封唐国公 。李渊的母亲是隋文帝独孤皇后的姐姐 ，北周天和元年(566年)，李渊出生在长安，李渊七岁时，父亲李昞去世，其袭封为唐国公，李渊长大后，为人洒脱，性格开朗，待人宽容。
开皇元年(581年)，隋文帝受北周静帝禅让，建立隋朝。由于李渊的姨母是隋文帝的独孤皇后，所以隋文帝特别亲近器重李渊，累任谯州、陇州、岐州三州刺史。有一个叫史世良的人，善于给人相面，他告诉高李渊说："您的骨骼惊奇，必为一国之主，愿您自爱，不要忘记鄙人说的话。"于是，李渊有了远大的目标。
大业十三年(617年)，李渊正式任太原留守、晋阳宫监，成为这一地区最高军政长官。李渊奉命率兵征讨历山飞贼甄翟儿，与甄翟儿遭遇在河西郡(今山西汾阳)的雀鼠谷，李渊大获全胜。在镇压农民起义的过程中，李渊招降纳叛，不断扩充自己的实力。李渊之子李世民知隋必亡，暗中结交豪杰，招纳逃亡之人，网罗各种人才。
