据说，左仆射杨素曾经指着自己的座位说："李靖迟早会坐到这个位置上来！"
就在李靖担任马邑郡丞期间，他发现太原留守李渊暗暗招兵买马，意图谋反。
郡丞不过是辅佐县令的一个小官，平时只负责管理文书、仓库和监狱。而李渊却是隋炀帝的大表哥，又担任太原留守，手中握有生杀大权，想要除掉一个小小的郡丞，可以说是不费吹灰之力。这事李靖本来可以睁一只眼闭一只眼，当作什么事都没有发生，但他却偏偏想要揭发李渊的阴谋。
为此，他还将自己打扮成罪犯，并戴上刑具，企图跑到江都去找隋炀帝告发李渊。说来，也该他倒霉。当时，天下大乱，四处都有人造反。走到长安时，却因为道路不通而停留了多日。
就在这期间，李渊率领大军一举攻破了长安，并且生擒了李靖。
