秦军很快为自己的轻敌付出了代价，屠睢兵分五路齐头并进，想要速战速决。但是岭南炎热，瘴疠之地，后勤困难，四处分布着原始部落，他们依仗地利，神出鬼没顽强抵抗，打起了游击战。秦军如同陷入了泥沼，进退不得。屠睢也在战斗中中了冷箭，一命呜呼。主帅身死，剩下的残兵败将，苦苦支撑等待援军，病死、热死无数。
直到三年后，秦始皇修好了灵渠，南征大军才有了后勤和援助。同时，屠睢的继任者任嚣，带着他的副手赵佗接手了这些秦军残部。任嚣和赵佗没有退路，率秦军拼死向前，得灵渠源源不断的补济，终于在公元前214年征服了岭南，整个岭南地区划入了秦朝版图。主帅任嚣自然做了第一任南海郡尉，下辖博罗、龙川、番禺、揭阳四县，而副手赵佗当了龙川县令。
龙川县疆域巨大，包括了今天的广东、江西和福建的部分地区，水陆交通十分便利，几乎四面环山，四周高达千米的山岭把持着水陆通道，让龙川变得易守难攻。赵佗带着自己的军队来到龙川县，在那里建立了佗城，定居下来。秦始皇虽打下了偌大的天下，却无福享受。公元前209年，秦始皇去世，秦二世暴政，到处都是农民起义。
乱世，对野心家来说是最好的机会。对实际统治岭南的任嚣和赵佗来说，有三个选择：勤王、割据、起义。思虑再三，任嚣决定走第二条路，与中原断绝联系，管他洪水滔天，等天下安定再说。公元前208年，任嚣一病不起，特意给赵佗留下遗嘱，就八个字：封关绝道，保境安民。赵佗当然愿意，封关绝道，关起门来作了南越武王。
