张须陀最开始担任齐郡郡丞，这个郡丞是五品或从五品的官员，是一郡太守的次官，后来因为军功，杨广升张须陀为通守，兼领河南道十二郡黜陟讨捕大使，通守也不过是比郡丞大一点的官职，仍然属于太守的次官，这还是临时加的，隋朝官制中没有通守的官职。河南道十二郡黜陟讨捕大使，听着挺气派，其实也兼职的官，盗匪如果剿灭了，这个官也就没了。
张须陀性格刚烈，有勇有谋，而且出道还很早，早在隋文帝开皇十七年（597年），张须陀就跟着史万岁征讨云南羌族爨翫的叛乱，仁寿四年（604年），又跟随并州道行军总管杨素平定汉王杨谅叛乱，因功加任开府。隋朝又四大名将，贺若弼、韩擒虎、史万岁、杨素，张须陀跟过两位，张须陀过人的军事才能除了自身天赋外，也许也离不开在这些名将的指点和熏陶。
王薄叛乱时，天下太平日久，百姓多不习兵，地方官吏更是一群饭桶，除了哭，就是跑，跑不了就投降。沧海横流，防线英雄本色，张须陀在一无兵，二无钱、三无政策的情况下，临时组织一批民兵就匆匆上阵了。以前历史课本上总是这样介绍，说农民起义军总是遭到优势官兵的围攻、惨遭镇压等等。其实大多数情况下，这句话应该这样说，数量占优的农民军总是被劣势官兵镇压还差不多。这句话同样适用于张须陀和王薄。
王薄带领着数万穿着红罗锦背裆的群众兵来到到鲁郡（治所在今山东兖州），碰见了带领数千人的张须陀。王薄哈哈大笑，小样，我们每人吐口唾沫都能淹死你，先吃饭、再睡觉，吃饱睡足了咱们明天好几个打他一个，打不死他！王薄是这样想的，也是这样做的，他的手下因此没有见到第二天的太阳。
