公元618年，唐高祖李渊想征讨薛举，任命李世民为统帅，李世民带了殷开山等人征讨。本来李世民想出战，不过刚好身体抱恙，推迟了出战时间，而殷开山却自以为是，认为不能让薛举知道李世民生病，不然会让薛举趁机猛攻，于是命大军出战。此战唐军打败，李世民带着残部逃跑，这是李世民军事生涯比较失败的一战。殷开山是唐军此次失败的始作俑者，唐高祖得知后重罚了殷开山。
公元619年，薛举不知为何突然病死，他的儿子薛仁杲坐了他生前的位置，李世民得知后立马出兵，并在浅水原之战中彻底消灭的薛仁杲的势力，殷开山这次立了战功，也算是把上次的失败将功补过。
公元622年，李世民征讨刘黑闼，殷开山再次随军。不过殷开山非常悲剧，只在半路上就突然发病死掉，终年44岁。据说殷开山死时，李世民非常伤心，在他的葬礼上痛哭不止。尽管殷开山死得早，但后来李世民在继位后的第17年设立凌烟阁功臣时，还是把他列入凌烟阁二十四功臣，排第13位。
这就是唯一没有活到李世民继承皇位的凌烟阁功臣--殷开山。
