当时，殷开山在山西太原担任地方官员，与镇守太原的唐国公李渊及其次子李世民交情很深，由于天下大乱，与隋朝皇室有远亲关系的李渊进退两难，应该趁机自立门户，还是为隋朝平定叛乱。
正当李渊犹豫不决的时候，李世民却相当果断，他认为正是乱世出英雄的时候，极力主张李渊应该趁着天下群雄都忙着争地盘的时候进军长安，占据最有利的战略要地。由于起兵需要人才辅助，李渊除了昔日故友刘文静、裴寂等人，李世民推荐的殷开山是其中一个。当李世民向殷开山表明起兵意图，殷开山爽快地答应了李世民的邀请。
就这样，殷开山成为了李渊太原起兵的第一批首席功臣，他除了在谋略方面有贡献，亲自带兵攻城略地也是一把好手，他多次打败隋朝将领及其军队，立下了显赫战功。
