陌刀其最早的原型可能是西汉时的斩马剑，因为两者都是双刃、狭长、锋利异常，可刺可坎，专为对付骑兵。军队中使用陌刀在唐高祖武德年间已肇其端。621年唐将阚棱率一千陌刀手，死战地方军阀李子通。唐代陌刀手都是严格选拔的壮士，人人技艺惊绝，臂力体力胆气过人，否则也舞不动沉重修长的陌刀，并敢与骑兵正面交锋。
隋末唐初，突厥人已是中亚草原霸主，突厥骑兵"来如激矢，去如绝弦"，骁勇善战，极难对付。唐高祖和唐太宗模仿和利用突厥人，建立起颇为"突厥化"的精锐骑兵，但唐军主力是步兵，仍要设法克制游牧骑兵。
从唐高宗到唐玄宗开元年间（679-722年），陌刀频频现于史书。笔者推测个中原因：陌刀是由镔铁打造，镔铁是大马士革刀的材料，价值昂贵，再加上唐朝著名盔甲明光铠，一个装备齐全的陌刀手相当于唐朝十个州官全年俸禄之和。费用如此之高，若成为制式装备，需要强大的财政支持，唐高宗到开元盛世时期的大唐国力才能做到。
