最初''千牛备身''出现的时候，似乎并没有一个专门的机构来统领这些武官。后来，北魏孝明帝中期出了''领左右''，很可能就统领着''千牛备身''。再往后，历朝历代统领''千牛备身''的机构名称不断变化，在唐高宗显庆五年(公元660年)称''左右千牛府''，到了唐中宗神龙元年(公元705年)，改为''左右千牛卫''。''千牛卫''，正是因为它统领着禁卫武官''千牛备身''而得名。
唐代禁卫军分为南、北两衙，左右千牛卫是南衙卫兵。
南衙卫兵就是''十六卫''，是国家军队。 唐朝实行''府兵制''，在''南衙十六卫''中，除左右千牛卫和左右监门卫不领府兵、只负责警卫外，前''十二卫''都遥领全国府兵。
北衙禁军由''北门屯营''逐渐发展为''北衙六军''等，其中最为有名的一支就是''羽林军''。北衙禁军是皇帝私人军队，是''募兵''，由皇帝亲信指挥。
南北衙禁卫军共同卫戍皇宫和京师，并相互牵制。但盛唐之后，''南衙府兵''逐渐衰败，''北衙禁军''逐渐成为中央政权的唯一依靠。
