大业12年，反隋的势力已经数不胜数，就连隋朝的将领杨玄建，都趁着隋炀帝第二次出征高句丽都反叛隋朝投靠在翟让的一方。
翟让是瓦岗军起义的领袖人物，瓦岗军是河南地区最强的一个叛军。当时翟让带着李密、杨玄建等人驻扎在荥阳外，等待时间攻入荥阳城内。
当即隋炀帝命张须陀镇守荥阳，并带领万人讨伐翟让。在此之前，翟让多次被张须陀所带领的军队打败。听到张须陀要来讨伐自己的时候，内心十分的慌乱，做出了撤退的打算。
这时李密却说：“须陀勇而无谋，兵又骤胜，既骄且狠，可一战而擒之。”
于是在李密的建议下，带着手底下的士兵排兵布阵准备迎击。李密派出千余骑兵埋伏在荥阳北方的树林中，自己则带着大队伍和翟让一起正面迎击张须陀。
没过几日，张须陀一方阵向翟让进兵，翟让军队不敌张须陀队伍，节节败退一直推到骑兵埋伏的地方。
当张须陀的军队全部进入指定地点后，这些瓦岗骑兵突然杀出来，翟让也随即让军队反击，将隋军包围了起来。
张须陀见此性情，控制自己的马，有着人挡杀人佛挡杀佛的气势突出包围。这时的张须陀本可以骑马一走了之的，但他并没有这么做，张须陀见自己的士兵还困在包围之中，便冲进包围圈营救，这样反复四次过后。
张须陀的军队几乎全部被灭亡了，此刻张须陀仰天长叹道：“兵败如此，何面见天子乎？”当即跳下马，和众人厮杀在一起，最后惨死在包围圈内享年52岁。
就这样隋末年间的一位名将就此陨落，对于张须陀来说，能是在战场上，算是荣幸的一件事。在他的观念中，他的死必须是有价值且意义的，并且他也不像李密口中所说的那样有勇无谋。
《隋书》记载：“性刚烈，有勇略。弱冠从史万岁讨西爨，以功授仪同，赐物三百段。”早年时期的张须陀，就开始在隋朝任职，带兵抵抗那些反叛隋朝的人力。当隋炀帝继位的时候，张须陀就常常跟随总管杨素出征，多次立下了功劳，被任为加州开府。
大业6年，隋炀帝数次征讨高句丽，使得百姓的生活很是艰难，加上时值饥荒，面对这种情况。张须陀私自开仓放粮，拯救这些百姓于水深火热之中。
其他属下劝谏张须陀说：“须待诏敕，不可擅与。”张须陀反驳到，如果我不拯救这些百姓的话，他们只能活活被饿死。
而且现在隋炀帝身在远方，等皇帝的命令下来，城内早已尸横遍野了。
如果我因为这件事被皇帝责罚的话，那也是我心甘情愿的，与你们无关。随即打开仓门，救济百姓。当隋炀帝得知此事后，对张须陀的做法赞赏有加，并称其有先见之明。
大业7年，王薄煽动平民百姓，反叛隋朝，那些为了躲避战争的平民纷纷聚集在这股反叛势力之下。张须陀得知此事后，集结好军队，浩浩荡荡向他们这股势力进发。
王薄本想力抗张须陀，可惜他手底下的那些人，都不是正规军，没几下就全部落荒而逃了。没过多久，裴长才、石子河也反叛隋朝，开始攻打历城，张须陀带领五千兵马便将其平定，隋炀帝嘉赏了张须陀，由此张须陀声名远扬。