正因如此，建武七年，他被调任为南阳太守。南阳，是个冶铁历史悠久的地方，自从战国时期开始，就是全国的冶炼基地之一，在东汉时更是一个冶铁中心，西汉汉武帝时也曾在这里设立过铁官。不过当时社会生产力普遍不高，南阳的冶铁工具也没比其他地方高级到哪里去，这时勤于思考的杜诗总结了当地劳动人民的经验，发明了一种专供冶铁的鼓风设备-水排。这种水排，用流水作为动力转动机械，使皮制的鼓风囊一张一合，不断地把空气送入冶铁庐内，极大减轻了冶炼的劳动强度。当时杜诗可能只是单纯地想提高劳动效率，也顺便给自己的政绩加加分，但他没想到他这项发明比西方早了一千一百多年，在科技史上留下了浓墨重彩的一笔。
此外他在南阳任上还做出了一件军政大事，开汉代先河：建议用虎符调兵。原来当时征调兵将用的是皇帝的"玺书"，很容易被敌人伪造，敏锐的杜诗发现了这一点，于是他向刘秀提出了用虎符调兵的建议，刘秀认为他言之有理，很快采纳了他的建议。杜诗任南阳太守七年，建武十四年，最终逝世于任上。堂堂一介大郡太守死后却没有留下任何属于私人的田产和房屋，贫困到连丧事都无法办理，可见他为官清廉到何种程度！史上南阳太守何其多，能臣廉吏也是代代辈出，可再没有一个人如他一般廉吏与发明家身份并存，主副业都使人耳熟能详。
