首先，就大将军和大司马来说，大司马在官职上，是要高于大将军的。早在西汉时期，大司马是加官。《汉旧仪》中记载：元狩四年（前119年），汉武帝刘彻设立大司马，以大将军卫青、骠骑将军霍去病功多，特加号大司马，以冠将军之号。东汉时期，大司马为三公之首，掌管军事。光武帝刘秀以大将军吴汉为大司马，以杜茂为大将军，也即大司马的地位在大将军之上。
到了三国时期，三国官制基本沿袭了东汉官制，魏国在三公之上另设大司马，为上公，第一品，位在大将军之上，一般由大将军升迁而来。比如太和四年（230年），曹真入朝，接替曹休，迁为大司马，赐剑履上殿，入朝不趋。也即曹真一开始是曹魏大将军，等到大司马曹休去世后，曹真升迁为大司马，成为曹魏的最高武将，甚至可以说是一人之下，万人之上了。
二
同时，就蜀汉来说，陈寿在《三国志·卷四十四·蜀书十四·蒋琬费祎姜维传第十四》中记载："又命琬开府，明年就加为大司马。"在诸葛亮病逝五丈原后，蒋琬先担任大将军一职，之后，蜀汉后主刘禅又将蒋琬加封为大司马。
