等到李靖成人之后，他就跟随了舅舅韩擒虎的脚步在隋朝为官，但是当时在位的隋炀帝已经逐渐暴露出了他昏庸的本质，许多有才能的官员被腐败的政治压得无法抬头，李靖也成为了其中之一。在这一时期，李靖这个曾被隋朝权臣杨素高度评价，甚至认为他能够站在自己这个位置上的人才，最终也没能得到重用，只能在太原地区的马邑做一个郡守。
在隋朝大业末年，隋炀帝的残暴无道使得整个中原大地上百姓们流离失所，社会矛盾非常尖锐，各地的有志之士纷纷起兵，试图推翻隋朝的暴政，而时任太原太守的李渊也在暗中招兵买马，等待一个良好的起兵时机。为了给自己的起义奠定基础，李渊在率兵对抗突厥的时候曾和他们在暗中定下过盟约，企图利用突厥的力量来对抗隋朝。
由于害怕被隋朝发现，李渊和突厥之间进行商议的地点其实并不在府衙中或是行军的大帐内，而是在战场当中，利用军队相互冲突的时候来进行交流。这种瞒天过海的结盟方式连李渊身边忠于隋朝的副将都没有发现，但是却被思维敏锐，观察细致的李靖所察觉了。
他做出了一个差点害死李渊也差点将李唐江山毁于襁褓当中的决定，那就是前往江都向杨广揭发李渊。不过，由于各地频繁爆发战乱的缘故，李靖在绕道到达长安之后并没能南下江都，只能在长安城内杀死一些李渊的远亲，使得李渊和后来的李唐江山得以逃过一劫。
