但他们等来的却是秦始皇的另一道诏命，由王翦的部下屠睢统率秦军继续南下，攻击目标则是更加遥远的岭南。除了战死的和戍守楚国各地的秦军外，屠睢带走了王翦麾下的所有精兵，这也是经历战争洗礼的秦王朝最能打的军队。
但岭南之战异常艰辛，由于粮草运输困难，岭南的百越部落在首领译吁宋的带领下，不断袭击南下的秦军，而主帅屠雎也在一次交战中落马被杀。
史书没有记载这场大败究竟让秦军损失了多少兵力，但根据当时的后勤能力以及屠睢的官职仅仅是郡尉来推算，这次损失的兵力应该在10万上下，但即使是10万人也全都是秦军精锐。
秦始皇震怒之余，派任嚣、赵佗再次从南征楚国的大军中征调精兵，这一次，秦军没有直接去攻打岭南的百越，而是由监御史禄带着去做一件大事。
