在隋朝时，殷开山就是太古县长，颇有政绩，名望很高，因此被李渊任命为大将军府掾，成为辅佐李氏父子的一名干将，参预谋略，当作心腹，因多次历有军功被拜任为光禄大夫。
当时关中群盗聚结，流民各自为阵，李世民命殷开山前往招抚。殷开山以其才智将这些流民改造成起义军，为李氏父子所用。
武德五年（622年），殷开山随军征讨刘黑闼，途中因病去世。李世民临丧痛哭，追赠陕东道大行台右仆射，谥号为节。
凌云阁二十四功臣里面的三个半神仙我们大家就更熟悉了，三个神仙是门神秦琼、尉迟敬德和托塔天王李靖，半个神仙就是在《西游记》中斩了泾河龙王的魏征。
在小说《隋唐演义》中，李世民晚年深感自己这些年来杀人无数，罪孽深重，夜间多做噩梦。和群臣商议，让秦琼和尉迟恭二人每夜披甲持械守卫宫门两旁。久而久之，李世民念秦琼，尉迟恭二人日夜辛劳，便让宫中画匠绘制二将之戎装像，怒目发威，手持鞭锏，悬挂于宫门两旁，此后邪崇全消。
