东吴同样如此，大司马位在大将军之上，比如丁奉就在永安七年（264年）由大将军升为右大司马，不过东吴有一个特殊之处就是大将军和大司马之间还多了一个上大将军：这个职位是孙权特意为陆逊设立的，原因就在于陆逊夷陵破刘备、石亭破曹休功劳太大，大将军不足以酬其功，而当时孙权还未立国没有设立左右大司马（赤乌九年也就是246年孙权设立左右大司马），所以孙权就为陆逊特设了上大将军一职，位在大将军之上。
东吴除了陆逊之外，还有吕岱、施绩也曾任此职：赤乌九年吕岱迁上大将军，孙亮即位后，建兴元年拜吕岱为大司马；元兴元年上大将军施绩迁左大司马。由此可见在东吴大将军之上是上大将军，上大将军之上是大司马。
那么左大司马和右大司马哪个大一点呢？大司马被分为前后左右中始于王莽时期，其后的更始政权也曾分设左、右大司马，不过刘秀立国后合二为一只有大司马，直到孙权在246年又重新设左、右大司马（可能是出于分权的考虑）。
