按照作战部署，谢祥军首先率10纵在涟水外围节节抗击，迟滞敌人的进攻，而后又紧急赶到东门外大堤，从侧面对侵入南门渡口阵地的敌人展开反击。当时，敌整编74师计有各种火炮300多门，战斗打响后，炮弹如蝗飞来，凌空飞溅的泥沙把战壕都给堵塞了，但 10纵硬是用轻武器，把楔入我军阵地的敌人赶回了黄河对岸。
之后，为进一步摸清敌人的进攻意图，谢祥军亲自赶到最前沿的阵地指挥所，用望远镜观察敌情。就在他观察完毕，正准备扭头对参谋人员讲话时，意外发生了，敌狙击手打来的一颗冷弹击中了他的腹部。由于伤势严重，谢祥军在送医途中牺牲，时年仅32岁。他是解放战争中华野牺牲的最高级别指挥员，也是我军牺牲的最高级别指挥员之一。
谢祥军牺牲的消息上报到华野司令部后，司令员十分难过，整整15分钟没有说话。考虑到涟水保卫战正处于关键阶段，为避免部队士气受影响，司令部严令10纵：严格保密，不得声张，不开追悼会，悄悄秘葬。
