李渊在晋阳起兵后，随即与长子李建成、次子李世民率领大军，直趋隋朝布防薄弱关中。因为当时隋炀帝杨广不在长安，实力强劲的瓦岗农民军与王世充在洛阳激战正酣，均无暇西顾，所以李渊于起兵当年便攻占了长安，当时殷开山在李世民所部，被李世民视为心腹。随后李渊拥立隋炀帝杨广的孙子杨侑为新皇帝，成为李渊的傀儡皇帝。随后杨侑册封李渊为唐王和丞相，封李建成为唐王世子，封李世民为秦国公。
殷开山也因为战功，被封为陈郡公及丞相府属官，不久又被任命为朝廷的吏部侍郎。次年三月，隋炀帝杨广在江都被兵变的禁军将领杀死，随后隋王朝崩塌，群雄混战更加激烈。五月，李渊接受杨侑的禅让，在长安即皇帝位，国号大唐，是为唐高祖。随后李渊立李建成为太子，封次子李世民为秦王并任命为尚书令。六月，李世民率领大军征讨占据陇右的薛举集团，殷开山随李世民出征，担任李世民元帅府司马。
在后来的岁月里，殷开山跟随李世民四处作战，建立了深厚的革命友情。殷开山跟随李世民率军先后平定刘武周、窦建德、王世充等割据势力。在平定王世充割据势力后，殷开山因战功被进封为郧国公。公元622年，也就是李渊武德五年，殷开山在跟随李世民征讨刘黑闼时，因病去世，李世民当时伤心痛哭，并请求李渊追赠殷开山为陕东道大行台右仆射。
公元543年，也就是唐太宗李世民贞观十七年，李世民为纪念唐朝功臣的功绩，命阎立本画长孙无忌、房玄龄、殷开山等二十四味功臣的画像置于凌烟阁，史称"凌烟阁二十四功臣"，其中殷开山因公排名第十三位。殷开山是凌烟阁二十四功臣当中最早去世的一位，也是唯一一个在李世民成为皇帝前去世的凌烟阁功臣。
在古典小说《西游记》里，唐僧师徒四人历经千辛万苦，渡过九九八十一难而取得真经，最终功德圆满修成正果。其实唐僧小时候的经历是非常不幸的，他母亲名叫殷温娇，是当朝宰相殷峤的掌上明珠，自小接受了良好的家庭教育，是一位才貌俱全的佳人。唐僧的父亲名叫陈光蕊，是个非常有才华的书生，在考中进士后，与殷峤的掌上明珠殷温娇完婚，夫妻俩才子佳人，非常恩爱。
