千牛卫下辖士兵称为千牛备身，名字来源于"千牛刀"，其乃是古代帝王的一种防身武器，典出《庄子》，寓意"锐利可斩千牛"。
《庄子·养生主》说：（庖丁）所解数千牛矣，而刀刃若新发于硎。
当然了，"千牛刀"不可能皇帝时时佩戴在身上，所以需要有武官负责帮皇帝掌刀。这样的武官就被称作"千牛备身"，随着时间的推移，"千牛备身"逐渐从掌刀人变成了皇帝的近身侍卫，人员也越来越多，需要机构管理。不同朝代，机构设置各有不同。
而"千牛卫"就是唐朝负责管理这些千牛备身的机构。虽然其他朝代也有类似的军队，但要么名字不同，要么徒有其名，名不副实。只有唐朝的千牛卫才是正宗的千牛卫，名气与实力相匹配。
