身为知府的谭纶，也与戚继光一样，在当地招募乡勇千人进行训练。他制定了约束队伍的纪律，从副将以下节节相互制约，不久就成为精锐部队。谭纶训练的乡兵，很快就形成了战斗力，并于嘉靖三十六年（1557年）大挫倭寇。次年，数万倭寇再扰台州，谭纶亲率死士大战，三战三捷，使军威大振。嘉靖四十二年（1563年），升任福建巡抚，剿灭福建倭寇，收复兴化。
其后，谭纶因熟悉兵事，成为朝廷依仗的救火队长，哪里有敌情，他就被调往哪里。从他的任职履历看来，在很长一段时间间，他任官一方没有满一年的。等到东南沿海的倭寇大略平定后，北部边关的祸患却方兴未艾。于是，谭纶又被调往北疆，任蓟辽总督。在蓟辽总督任内，自居庸关到山海关，修建防御台三千座，加强东北防务。
御敌台修成后，他又招募了九千多名浙江兵驻守。边防经过此番大整治，敌人不敢前来侵犯。他因功升任兵部尚书，兼任右都御史，协助处理原来的事务。同年冬，朱载垕允许他回乡休假。谭纶前后致力兵事三十年，歼敌二万一千五百人，"亦一时干城矣"。
