要说"千牛卫"，我们得先简单了解一下"千牛刀"，当年人们把帝王随身携带的御刀称为"千牛刀"，寓意为"锐利可斩千牛"，是帝王们用来防身用的宝刀。
结果南朝宋元徽五年（公元477年）七月七日的夜晚，刘昱的心腹侍从杨玉夫选择了亲手杀掉这个昏庸无道的皇帝，确认刘昱熟睡后，杨玉夫拿起刘昱放在一旁的千牛刀，杀掉了他。后来人们不禁感慨，皇帝竟然被自己的千牛刀夺了性命，于是"千牛刀"逐渐为人所熟知。
等到北朝北魏时期，皇帝干脆把"千牛刀"赐给身旁的高级禁卫武官，让他们保护自己的安全，这些高级禁卫就是最早的"千牛备身"，他们的地位相当高，能够"出入禁中，无所拘忌"，并且平时就站在皇帝左右（类似贴身保镖），可见皇帝对他们的信任。
但由于"千牛备身"还没有完全的制度化，所以对这个官职也没有明确规定，经过后世历朝历代的不断改进，唐高宗才将其命名为"左右千牛府"，唐中宗又将其改名为"左右千牛卫"，官职从从三品调整到四品，又调整为正三品，地位依旧很高。
