所以朝廷就会需要有一支人数不一定多，但是战斗力非常强大的军队，这些军队分成了两个部分，也就是南北两衙，其中北衙禁军是皇帝的私军，也就能够理解成保卫皇城安全的军队，而南衙十六卫也就专门管理天下军马事务，这十六卫就是左右卫、左右骁卫、左右武卫、左右威卫、左右金吾卫、左右领军卫、左右监门卫以及左右千牛卫，其中左右监门卫和左右千牛卫这四卫掌管京城兵马，并不像其他十二卫那样掌管一部分府兵，而左右千牛卫更是专门"掌执御刀宿卫侍从"，也就是掌管皇宫内的保卫工作，类似于现在的中央警卫工作。
根据史书的记载，显庆五年，才开始设置左右千牛府，神龙元年改成左右千牛卫，而他的官职设置最开始有一名将军，从三品的官职，以及中郎将两人，正四品的官职，也可以看做是将军的副手，后面神龙二年，设置大将军一人，他的官阶是正三品，也就是说李元芳担任的就是千牛卫大将军的官职，在唐朝是正三品的官职，已经是唐朝武将官职的最高峰了，当然这里面说的是实权，按照现在的军队设置来看的话，就是中央警卫部队，军衔是上将军衔了。
