薛举本来想乘胜攻打长安，但在出发的时候突然生了一场大病，并直接死了，薛举的死为唐军解决了一个大麻烦，所以距离第一次浅水原之战不过才两个月，第二次浅水原之战又开始了，薛举的儿子薛仁杲完全打不过李世民，在这一仗中，殷开山因为跟着李世民所以算是建立了战功又官复原职。
之后又跟随李世民征讨王世充，王世充和窦建德都被解决掉之后，窦建德的旧部在刘黑闼的带领下发动了叛乱，李世民奉命平叛，在去平叛的路上，殷开山病死。
从他的这些经历来看，除了是李世民的心腹外，其实也不算是立下了很大的功劳，至少不足以如凌烟阁，但是殷开山并不是真正的武将，他实际上是能臣，他经历中有两点很为他加分，其一，他曾是李建成的旧部，其二，他善于招抚，正是这两点才让他脱颖而出，让李世民念念不忘。
武德年间，李世民需要人才，也需要拉拢李建成身边的人，那么，殷开山为李世民招揽了些什么人呢？有明确记载的就是唐初名将张士贵。张士贵在隋末原本自成一派，但毕竟势力不算大，后来主动归顺了李渊，带领原先的部下继续征战，长安被攻下来之后，张士贵曾跟随李建成出征：
