其实，早在一战时期，随着轻重机枪大量装备军队，对于骑兵在战场上的作用，就被许多国家的军队提出质疑，作为自明治维新以来，军队建设向西方看齐的日本军队也不例外。
因此，日本陆军中常设甲级师团中，骑兵联队的规模一直呈现下降趋势，乙级师团仅保留了骑兵大队，后来连骑兵大队都没有了，至于丙级和丁级师团，根本就没有骑兵的编制。
除了在华北、华中等平原地带，别的区域骑兵联队和大队增加了轻重机枪和曲射炮，事实上成了下马作战的步兵。随着1941年军部骑兵科被废止，装甲兵科成立，日本军队的骑兵日渐式微，骑兵联队演变成了搜索联队和向机械化装甲兵转化。
