看到在大大小小起义中摇摇欲坠的隋王朝，再加上自己的好友刘文静和儿子李世民多次劝他起兵，李渊也渐渐萌发了起兵的想法。公元616年，李渊看到全国各地的政府都已经无力抵抗百姓的起义，认为起兵时机已经成熟。所以，在617年时，李渊便向身边的心腹宣布自己决定起义。
当李渊决定起义之后，就开始在暗中招兵买马。事情在开始进行的很顺利，但是接下来的一个突发事件却打乱了李渊计划的节奏。这个突发事件在史上称为"刘武周叛变"。刘武周原本是李渊的部下，他率军镇守马邑，可能是看到李渊许久没有起义行动，坐不住的他竟然先行杀死了马邑太守，起兵谋反，还迫不及待封自己为天子。
刘武周
刘武周叛变的举动，触怒了杨广，还连累了李渊。杨广将刘武周叛变的责任推在了李渊身上，还命令他迅速前往扬州请罪。李渊此时如果去扬州，肯定是罪责难逃；但如果不去，那就是抗旨不遵，两边都是死罪，而此时的李渊必须为自己起兵争取时间。最后，他找了一个借口来为自己争取最后的时间。他向杨广请奏要先去镇压突厥军队来戴罪立功，然后将刘武周势力铲除后，就去扬州向杨广请罪。
