同时他也充分考虑到沙俄可能会沿松花江等水系入侵，为此他在图们江、松花江等东北主要水系均组建了水师营。在进行军事改革的同时他还极力鼓励华北百姓移居东北，这一是为刚遭遇严重饥荒的华北百姓提供落脚生息之地，二是为了充实东北人口以巩固边防。吴大澂对前来定居屯垦的农民和前来贸易经商的商旅均给予优惠政策。1880年底他主持修筑了从宁古塔至吉林省城长达600里的大道及北、东线大道，这大大改善了当地的交通状况。
在和平年代这些大道便利了垦民、商旅的活动，而一旦爆发战争这些大道就会成为军事调度的交通干线。1884年朝鲜爆发甲申事变后吴大澂奉命由东北进入朝鲜处置善后事宜。光绪十一年（1885年）吴大澂奉命会同宁古塔副都统容山、珲春副都统依克唐阿等人与沙俄重新查勘东部边界。在与沙俄的勘界谈判中吴大澂据理力争，最终于1886年10月12日与沙俄达成《中俄珲春东界约》和《中俄查勘两国交界道路记》两项条约。这两项条约尽管不足以推翻之前的不平等条约，但的确为中国争取会一些权益。
后者使中国得以收回黑顶子山地区（今吉林珲春敬信镇），而前者则为中国船只争取到了图们江口的通航权利--根据《中俄珲春东界约》规定："如有中国船只由图们江出入者并不可阻拦"。这也就是说虽然乌苏里江以东的日本海沿岸地区已割让给俄国，但中国船只通过图们江穿越此地依然是不受阻拦的。如今矗立在珲春市区的龙虎石刻及具清代建筑风格的五角碑亭就是珲春人民为纪念收回黑顶子山地区和争得图们江口通航权而建。当地人民还为吴大澂树立雕像以示纪念。
