这段工作经历，让他熟知了明朝的军备实际情况。同时，他也不断思考如何才能取得最终的作战胜利。不久，一场突如其来的危机，给了他检验理论的机会。
嘉靖二十七年（1548年）五月，倭寇居然突破防线，杀到了南京城下。当时，官员们都慌了，守军们也害怕了。然而，谭纶却主动请缨，临时招募了壮丁500余人。之后，他简单地教了他们些武艺战术，就急忙去了战场。在常人看来，这是“自不量力”。
不过，谭纶有他的方法。首先，是一番战前动员，大家激情澎湃。然后，抓住了有利战机，趁着倭寇们刚登岸，发起了进攻。之后，兵分两路，一路正面，一路侧面，两路一夹击，顿时将倭寇分割了。此外，谭纶更是勇猛，带头进攻。在这种战术下，居然击溃了敌人。
就此，谭纶一战而红，很快被任命为台州知府。在当时，台州是倭寇“骚扰”重灾区。他上任后，汲取南京募兵的经验，在当地招新兵。而且，在他精心训练下，这支千人军队，军纪强，作战勇猛，多次击溃了倭寇。
尽管，几年中取得了不俗战绩，但是，他却从中清醒地认识到了自己的弱点。
因为，管理是他所长，训练却不是。时间用了不少，训练出来的人马，仅够满足地方保卫战，如要彻底歼敌，这还远远不够。因此，他迫切需要一位搭档，弥补其不足。嘉靖三十四年（1555年），参将戚继光的来到，实现了谭纶心中所想。
当时，戚继光也有同样的想法，灭倭寇得训练新兵，且其目标更宏大，他要训练出一支平定倭寇的专门的精良部队。不过，他很是谨慎，给自己留了至少三年的时间。而谭纶相当配合，这三年里，戚继光做的事，基本就是练兵。如有倭寇再犯，都是这个知府大人去应付。
由于，他手中兵力不多，就从防守入手，还积极想对策。如及时得到消息，就立刻转移百姓，让敌人空手而归，若有机会，还会再挫挫敌人的锐气。几年的苦练，戚继光终于成就了一支作风彪悍军队——戚家军。之后，二人通力携手，多次击败了倭寇。
这期间，嘉靖四十年（1561年）的台州九战最为著名。长达数月的交战中，戚继光领兵攻打正面，谭纶率军从侧面包抄。于是，在密切配合下，连续九战皆胜，重创浙江一带倭寇。自此，浙江不见倭寇再犯了。
