然而，随着隋炀帝远征高句丽的失败，国内矛盾急速爆发，其中王簿等人的叛乱，更是给了这个外强中干、奄奄一息的王朝以致命一击。当时，义军每到之处，朝廷军队或是开城投降，或是纷纷溃散，唯有张须陀带兵最严，也唯有他敢和义军正面交战。613年，王簿联合多方义军共计10余万人进攻章丘。按理说，义军声势如此之大，在兵力远逊叛军的情况下，张须陀断然没有取胜的机会。然而， 他却并不畏惧，先派出水军断其水运，自己则亲率兵士两万，正面迎击叛军。王簿等人认为自己胜券在握，毕竟自己兵力是对方的数倍，又怎会败呢？没想到，张须陀竟真取得了胜利，大败王簿于岱山下。
同年，裴长才等人趁历城守备空虚，便率2万余人攻城。在这千钧一发之际，张须陀来不及调兵，仅带5骑便与叛军展开战斗，期间陷入重围，身中数刀，却誓死不退，硬生生的等到了援军的到来。此后每逢战斗，他必定亲赴战场，而所接战争皆全胜。
不过，频繁的战斗使他有些轻敌。只想为隋朝效忠的他，在追击中身陷瓦岗埋伏圈。部下都劝他突围而走，他却自觉无颜面帝，与兵士下马共战，力竭而死。
他死后，所部士兵官员皆为其痛哭，嚎啕数日，闻者动容。而曾经败于张须陀手的叛军也尽归瓦岗，从此瓦岗势不可挡，隋朝却再也派不出名将了，不久隋亡。
