但是到了晚清，由于要和西方列强打交道，所以中国也被迫要详细解决边境问题。由于国力不振加之在地理考证问题上不如西方国家精细，中国在边境划分上大多吃了一些亏（中缅、中俄等边境均如此），不过中越划界是例外：此处划界中国方面还是相对有效的保护了国家的主权，占了上风。
中越边境到底是什么情况？其实古代中越虽然有过边境纠纷，但从未详细勘探过边境，自10世纪越南分离出去后，中越边境就一直存在大量的模糊地带，中国从宋朝开始，这附近几乎就只有一些羁縻机构，任由当地部族自治，中国方面不在乎这些地方，但越南在乎，自独立开始便不断渗透，蚕食了这些羁縻机构，于是和历代中原王朝纠纷不断。
而"京族三岛"更例外，因为中越双方均不重视此处，越南刚分离出去的时候，这里虽然属于中国但实际是荒岛。这里完全没有人烟，越南李朝的时候蚕食了江平镇等地，"京族三岛"也连带属于越南控制，不过仍然是荒岛，中越均不争夺这里的主权。
一直到明朝武宗正德六年（1511年），越南北部涂山等地的越南渔民打鱼时发现了该岛，才开始移居该岛进行渔业生产，由于中国并未对"京族三岛"进行实际性的管控，所以当地实际形成了"地方乡绅自治"的局面（越南政府似乎也没怎么管理过此处）。岛上的越南人与邻近地区的中国人交往的时候称呼中国人为"唐人"；而中国居民称他们为"安南人"。
