等到了西汉时期，其实在制度上，就是对于秦朝的一个沿用，所以太尉这个职位也就继续流传下来，不过却发生了一些变化，那就是太尉是有人担当的，而且开始有了一些权力，当时是属于护卫京城的队伍之一，所以实力还是比较小的，和掌控天下军队存在着天差地别，并且还不是一种常设的官员，属于那种时常被废的角色，淡了汉武帝时期，由于设立了大司马，所以这个职位也就由此开始被彻底废除，一度消失。
后来到了东汉，太尉有一次出现，替代了大司马，不过这时的太尉已经是权力巨大，开始负责掌管国家的武官的功绩方面的评定，所以在但是可以说处处都被讨好，但是却不能掌管军权。后来尚书台出现，太尉再一次被架空，逐渐的成为了虚衔。
再一次出现转机，已经是唐朝之后，到了宋朝，太尉就被再一次提升，成为了武阶官首位，是一种等级的代表。而到了明朝，由于三公的出现，使得太尉彻底消失成为历史。如果放到今天的职位等级上，大概相当于现代的国防部长，只是负责军事上一些事务，但是没有对军队的执行以及决定权。
