就在殷开山准备立下更显赫的战功时，他突然在跟随秦王李世民征讨刘黑闼的过程中病重。公元622年（唐高祖武德五年），殷开山病逝军中，李世民痛失贤才，非常伤心。随后，大唐朝廷为殷开山举行军葬，追封右仆射、吏部尚书，谥号节。
多年后的公元643年，即唐太宗贞观十七年，唐太宗命人设立凌烟阁二十四功臣，殷开山位列第十三，他是凌烟阁二十四功臣当中最早去世的一个，而且也是唯一一个李世民还没做皇帝的时候就去世的凌烟阁功臣。
殷开山的名是峤，即殷峤，开山是他的字。殷开山在古典名著《西游记》是一个极其重要的角色，他是当朝宰相，有个漂亮又有才的女儿殷温娇，把他嫁给同样很有才学的陈光蕊，两人生下了一个儿子，这个儿子正是唐僧。
