其實,早在一戰時期,隨著輕重機槍大量裝備軍隊,對于騎兵在戰場上的作用,就被許多國家的軍隊提出質疑,作為自明治維新以來,軍隊建設向西方看齊的日本軍隊也不例外。
因此,日本陸軍中常設甲級師團中,騎兵聯隊的規模一直呈現下降趨勢,乙級師團僅保留了騎兵大隊,后來連騎兵大隊都沒有了,至于丙級和丁級師團,根本就沒有騎兵的編制。除了在華北、華中等平原地帶,別的區域騎兵聯隊和大隊增加了輕重機槍和曲射炮,事實上成了下馬作戰的步兵。
隨著1941年軍部騎兵科被廢止,裝甲兵科成立,日本軍隊的騎兵日漸式微,騎兵聯隊演變成了搜索聯隊和向機械化裝甲兵轉化。
抗戰時期,在中國戰場上日軍騎兵規模并不大,聯隊隸屬于甲級師團,大隊隸屬于乙級師團,其番號隸屬所在的師團,后期組織的師團中,已經沒有了騎兵聯隊或大隊的編制,當然,華北地區極少部分的獨立混成旅團中有騎兵中隊。
先期的日軍,由于機械化程度不高,因此在機動作戰中,對騎兵有一定的依賴性,甲級師團有1個騎兵聯隊,兩個甲級師團的2個騎兵聯隊就合成了1個騎兵旅團,除了2個騎兵聯隊以外,還另有1個擁有輕重機槍和曲射炮的炮兵聯隊,屬于單獨成立的旅團的直屬部隊。
但騎兵聯隊兵力不如步兵聯隊,一般只有1500人馬,有的甚至只有1000人馬,所以日軍的騎兵旅團加上直屬部隊也就最大4000人馬的規模,與一個步兵聯隊3800人兵力相差無幾,但騎兵旅團長卻依然是少將軍銜,但聯隊長是大佐或中佐軍銜。
由于騎兵旅團全都是騎兵,炮兵聯隊也都是輕重機槍和曲射炮,因此其騎兵旅團的戰斗力還是非常強悍的,最起碼其機動作戰能力要遠超步兵旅團。
在抗戰時期,中國軍隊曾經圍殲過日軍戰斗力非常強悍的第5師團第21旅團,打死了中村正雄少將旅團長,但卻難以全殲日軍齊裝滿員的一個騎兵旅團,蓋因騎兵機動能力強,即便戰場形勢對其不利,卻能實施快速突圍撤出戰場。
1940年開始,日本陸軍師團開始逐漸機械化,騎兵的作用就下降了,部分騎兵聯隊開始解體,轉成機械化部隊,至抗戰結束時,在中國戰場上日軍只有1個騎兵旅團,即在華中地區的騎兵第4旅團。