它被用来授予大臣，早在汉朝便有记录。《汉书》记载，汉成帝继位后，重用他的老师张禹，不但封他为安昌侯，还让他当了丞相。张禹仗着自己位高权重，又受皇帝宠信，便逐渐肆无忌惮。于是以直言进谏著称的大臣朱云便当着众臣的面对皇帝说："臣愿赐尚方斩马剑，断佞臣一人以厉其余。"
汉成帝欣慰地问，他想要斩谁，朱云斩钉截铁地回答："安昌侯张禹。"成帝见他弹劾自己信任的老师，当即大怒，要将朱云拉去斩首，卫兵奉命带走他，朱云抓紧大殿的门槛，竟然把门槛折断了。这时左将军辛庆忌摘下官帽、官印、绶带，叩头求情，汉成帝才绕过朱云，后来管理宫廷事务的官吏要来更换门槛，被成帝阻止了，他说，要用这段断槛来纪念直言进谏的臣子。由此，还留下了"朱云折槛"的佳话。
元世祖忽必烈时，道士张留孙治好了皇后的病，于是皇帝要立他为天师，他不敢接受而拒绝后，忽必烈"乃号之上卿，命尚方铸宝剑以赐。"可见此时，尚方宝剑已经被作为重要的赏赐和权力的象征。到了明代，开国元勋刘伯温在诗中写道："先封尚方剑，按法诛奸赃。"
