不过在汉代尚方宝剑最初的作用，还是作为授予官员的赏赐宝物，《后汉书》有记载:"前吴汉发兵时，件王遗宠以礼必剑"，能看出西汉有御赐件将佩剑的传统。尚方宝剑真正具有斩杀奸臣的作用，还要等到北宋时期。赵匡胤终结了五代十国的乱局建立北宋王朝，由于刚刚建国，各方面的局势还都不太稳定，需要赵匡胤处理的事情实在太多，于是他就用赐剑的方式，将自己的权利赋予到几个"代言人"身上。《武经备要》记载凡有大将领兵出征，赵匡胤不在前线，无法及时处理军务之时，都会赐给大将一把尚方宝剑，可对违抗军纪的官员可先斩后奏，但是这个专杀权利也不是没有限制的，《武经总要》记载说只有副将以下的官员犯了罪，才可以用尚方宝剑先斩后奏，更高级别的件员，就不受尚方宝剑的制裁了。
明代对尚方宝剑做出详细规定
到了明代关于尚方宝剑的作用，与限制就更多了。首先不能越级别杀人，也就是说巡抚、总兵这些大员，是不能用尚方宝剑斩杀的，其次是不能越界使用，《明史》记载尚方宝剑的持有者，只能在自己的职务之内使用，而不能管自己职务之外的事，如果随便用尚方宝剑杀人，会受到皇帝的严厉制裁，搞不好还会搭上性命。另外明代的尚方宝剑也有"保质期"，在出征之前皇帝授予件将尚方宝剑，而等到战争结束，尚方宝剑就会被皇帝收回。到了皇权高度集权的清代，尚方宝剑就失去了高贵的身份，清代皇帝不再将自己权利分给大将，因此尚方宝剑先斩后奏的历史传统，也到了此处被终结了。
