造反不是做生意，赔了本钱，咬咬牙努努力，还能东山再起，这种事一旦做了，结果要么赚得盆满钵满，鸡犬升天；要么是一赔到底，株连九族。所以李渊做得很谨慎，一直是悄悄的积蓄自己的力量。当时他分管太原，和突厥对峙，所以兵器战马什么的明着就可以准备，而太原还有隋炀帝的行宫，加上周边产粮的地方也不算少，而李渊是关陇豪门，不差钱，所以粮食问题也不是太大。
唯一能制约李渊的只有兵卒。有人会问，李渊镇守太原和突厥作战，手底下还缺兵吗？答案是肯定的。因为他手底下的兵，拿的是杨广给的工资，吃的是杨广提供的盒饭，而且家儿老小一般也不会在本地。所以这些人名义上归李渊管辖，但实际上他们是杨广家的正式职工。所以李渊要想造反，必须有自己的班底，而且这些人最好是本乡本土的人，这样亲情关系才比法律法规好使。
造反不是一个一蹴而就的过程，它需要长期的准备，练兵也是同样如此。所以李渊就开始私下里招募兵士，并让自己的亲信刘弘基和长孙顺德统领。
当时虽然杨广没有把李渊怎么样，但是他却派了两个人暗中监视李渊，这两个人分别是高君雅和王威，据《旧唐书》记载"（李渊）为太原留守，郡丞王威、武牙郎将高君雅为副"。这两个人的主要作用就是监督李渊，防止李渊有不利于杨广的举动。从后面发生的事情来看，这两个人应该被杨广授过"见机行事，先斩后奏"的权利。当时李渊虽然把保密工作做得不错，但是还是被这两个人发现了异常，于是他们打算借机把李渊除掉。"恐高祖为变，相与疑惧，请高祖祈雨于晋祠，将为不利"。
