李渊很小的时候就已经失去了父亲，大概五岁左右就承袭了唐国公的爵位。李渊虽贵为唐国公，但毕竟是个小孩，更何况不久母亲也离他而去，生活也就更加的艰难了。外公独孤信则承担起了抚养李渊的责任。
在独孤府上，李渊并不孤单，他还有一个玩伴--表弟独孤怀恩。两人一起学文习武。两人一起成长，独孤怀恩的武功怎么样，我们不得而知，但想来应该不会太差的，毕竟是将门虎子，俗语说"虎父无犬子"嘛！但李渊的箭术应该是很高明的。据传，表兄弟两人一次野外游玩之时，看到空中有两只鹰打架。独孤怀恩连呼"表哥快射、快射！"只听一声弓响，落地的却是两头鹰，原来是李渊一箭穿俩。这虽为传说，但可信度应该是蛮高的。
这样高明的箭法不可能来自他的父亲，很显然是得自独孤家的传授。这并不是李渊从独孤家得来的唯一一个好处，最起码还有一个好处，而这个好处却是使他收益良多，说他的皇位就是由此而来也不为过。
这个好处来自独孤怀恩的好人缘，独孤皇后很是喜欢这个侄子，所以独孤怀恩就有了非常多的进宫机会。而杨坚在获得政权之后，自然少不了独孤家这样的军事贵族的支持，所以与其说杨坚尊敬自己的皇后，不如说是尊敬独孤家族，惧怕自己的老婆。自古惧怕老婆的人都会讲老婆的喜好当成自己的喜好，所以，独孤怀恩也就得到了杨坚的喜爱。
