东汉末年的三国时期，"三公"制度一度被曹操废除，他自己担任权力最大的丞相，而太尉与御史大夫都被废除。不过等到曹操的儿子曹丕即位的时候，太尉这一官职也被短暂恢复过，著名谋士贾诩、司马懿都曾经担任，这个时候的太尉依然位高权重，不过仅仅有这两个人曾经担任。
三国在短暂统一后便进入了南北朝乱世，这段时间里太尉都不存在，隋文帝在终结南北朝乱世创建了隋朝以后，再次设立了太尉这个官衔，不过由于南北朝中有太多的将领，因为握有兵权而当上了皇帝，所以隋朝的太尉也就成为了虚职，此后的唐朝、宋朝与元朝都沿用旧制。
直到明朝的时候，明太祖朱元璋永久取消了丞相，同时也永久取消了太尉这一官职，而在太尉尚且存在的时候，尽管权力各有不同，但始终都是全国最高武官，放到现在，基本上就相当于负责国防的国防部长，说出来你是不是肯定不信呢？
