唐高祖李渊是公元617年，隋炀帝大业十三年，即隋炀帝在位倒数第二年，此时各地起义已经风起云涌，隋朝统治危在旦夕，唐高祖李渊看准时机，直取隋朝国都大兴（即长安，隋朝称大兴），一路上几乎都是势如破竹，隋朝军队根本抵挡不住，唐高祖李渊的军队有这样的战斗力，次子李世民和副将殷开山的贡献很大。
到了公元617年11月，在李渊、李世民的正确指挥下，殷开山和其他将领对大兴城发起进攻，顺利打下，当时隋炀帝不在大兴城，而是在江都（即扬州，隋朝称江都），李渊拥立隋炀帝的孙子杨侑为帝，史称隋恭帝，李渊掌握实权，并改国都名为长安。
第二年，即公元618年，李渊废掉并杀害隋恭帝，随即正式登基称帝建立大唐，对有功之臣论功行赏，殷开山在功臣之列，封郧国公。
随后，李世民带着手下谋士和武将，对外扫荡群雄，当中包括殷开山，当时反隋义军中最强大的薛仁杲、刘武周、窦建德、王世充等都是李世民平定的，殷开山在这个过程立下了显赫战功。
