在公元前196年，刘邦旨在统一华夏，他将目光看向了没有归顺的岭南地区，派出了陆贾前去说服。陆贾赶往广州时，赵佗身穿越人的衣服，面对汉朝使者一副不屑的样子，不过陆贾丝毫不畏惧，毕竟他所传达的汉帝王刘邦的旨意，就连项羽都输在他之下，更何况一个小小的南越王。赵佗听了后并不认同，他认为自己只要参与到中原争霸，那定能夺得一番业绩。不过陆贾对其进行了羞辱，并顺利让赵佗接受归汉的旨意。
其实赵佗本是秦国的大将，备受嬴政的器重和信任，在平定六国后，嬴政将目光看向了四夷之地，他不仅要平定中原，还要扫荡四夷地区。古代的南越其实就是两广地区，秦始皇派出了五十万大军进行征讨，但越人却屡出奇兵，将屠睢大将杀死，秦军受损惨重，只能重新调整兵力。在公元前217年，赵佗和任嚣两个大将负责指挥秦军，再次派出大军攻打百越，在3年的激战中才得有扫平百越。
为了能够治理百越，任嚣采取了宽松的治理手段，保留南越人的习俗，和其和睦相处。而嬴政也进行了大规模的移民，为的就是发展经济，让南越变得繁荣富强。在公元前208年，任嚣病危，临走前将赵佗叫到身边，将岭南交给他管理。赵佗的野心很大，他立马派兵对岭南的关口进行把守，禁止乱军来到岭南地区。
