司马炎称帝后，为了表彰羊祜的扶立之功，将他升为中军将军，进爵为郡公，但羊祜怕引起贾充等人的嫉妒，只接受了侯爵。以羊祜的实力和才能，他要想进，就能成为一人之下万人之上，可他为了明哲保身，对待比自己官位低的大臣，见面都是相当谦让。因此，有人夸赞羊祜具有高风亮节，同样也有很多人说他虚假，但羊祜做人做事依旧如此。
司马炎称帝后，就在着手灭吴大业，晋吴当时的边界在荆州，形成南北对峙局面。羊祜受命荆州诸军都督，开启了和吴国的十几年对峙局面。
荆州原本处于战争前线，百业凋敝、民生荒芜，军队连粮食都不够吃的。羊祜调任后，充分发挥了他的才能，对内休养生息、开垦荒田、繁荣集市。对外，他通过贤德感化吴国人，不轻言战事，对边境的两国人民一视同仁，因此深得百姓和军队爱戴。
