自从武器出现，刺刀就是步枪不可缺少的配件，也是士兵手中400年来没有消失的冷兵器。刺刀的起源可追溯到16世纪初。那时使用火药发射的火枪已出现在战场上，刀、剑、斧、矛和弓箭开始失去昔日的光彩，渐渐从战场上退出。最初由于火枪装填弹药很费时间，欧洲各国的军队不得不将火枪手和长矛手混合编队，当火枪手重新装填弹药时，由长矛手为他们提供掩护。
但是随着火枪火力的日益增强，长矛手的伤亡不断增加。为取代长矛手，大约在17世纪中期，法国人首先发明了插入式刺刀。这是一种长而尖的刀，有圆锥形的木柄，能够插入火枪枪口，形成一个类似短矛的武器，就是现代刺刀的鼻祖。由于刺刀最早出现在法国城市巴莱纳，所以该城的名字Bayonnetts就成了英文“刺刀”bayonnet的词源。
17世纪末，在欧洲一些国家，刺刀已完全取代了长矛，而且其战斗力在18世纪的战争中充分表现出来。为了一物多用，1750年以前就陆续出现了一些兼具其他功能(如匕首、木锯、剪刀等)的多用途刺刀。后来又出现了靠弹簧卡笋固定在枪口侧方的刺刀，1855年起，这种刺刀已成为许多军用步枪的制式刺刀。
