明治34年，也即1901年，一名名叫西泽吉次的日本商人，在海上遭遇了大风暴，在随风暴漂流的过程中，他来到了东沙环礁上，从上面的东沙岛上发现了厚厚的鸟粪，作为商人的西泽吉次深知，这厚实的鸟粪应当是优质的磷肥，因此像发现了宝藏一般的西泽吉次，回去后立即纠集了一批日本人，登岛将这里占为己有，将岛上中国居民的住所全部破坏，随即宣布归属日本所有，同时改东沙岛为西泽岛，还在岛上升起了太阳旗。
西泽吉次占领了东沙岛之后，引起了清王朝的注意，他们很快派遣南洋水师来这里巡防，通过谈判，清朝拿出一笔费用，然后将西泽吉次等日本人赶走，这是清王朝在即将寿终正寝之时，成功收回的一块国土。在交接仪式上，清王朝的广海舰鸣炮21响，以宣示我国的主权。
北洋军阀统治时期，日本趁着北洋军阀争权夺利无暇顾及之时，又在1917年，在日本商人石丸庄助的带领下，率领一百多名日本人登岛偷采鸟粪，这是继西泽吉次日本人又一次不光彩的盗略行径。
发现了日本人的不轨行径后，1924年，北洋政府照会日本政府："该日本渔民等速即退出该岛。嗣后并严禁沿海渔民，勿得再行越界捕鱼，以免发生纠葛。"并在1925年正式将岛上的日本人驱逐，而国民政府在北伐之后，也意识到了该岛的重要性，派遣海军驻守该岛。
不过在全面抗战爆发后，日本人趁机又占据了该岛。由于东沙岛独特的地理位置，所以这里成为了日军进出南洋的前哨，并派一支部队防守。二战末期，美军率战舰攻克日本人所盘踞的东沙，并在上面悬挂了美国国旗。
不过很快，东沙岛又被盟军移交给我国管辖。这样东沙岛几易其手，但最终依然属于我国所有。
