后来他打开自己的箱子，对儿子说：我只有这些破旧衣服，如何能养活你母亲呢，但即便如此，做官就要有气节。这样的故事流传了很多年，羊祜自然也知道自家祖先的这些美谈，家风如此，因此他也是一位非常有作为的官员。后来的很多人对他评价都非常高，就连毛泽东晚年也对很多人说过他的事情，并且写了很多与他相关的文学作品。
当年大魏两大政治集团斗争的有你没我的时候，羊祜就不愿意参与其中。当时曹氏与司马氏都想要拉拢这位有才华的人，可是他却不愿意站出来表明态度，不过在他的心目中早就有了答案，曹氏必定不是司马家的对手。果然，他的很多同僚后来因为站错了队而受到各种牵连，而他却完全不受影响。后来他决心做事之后，很快就有了很多作为。
当时荆州是非常重要的区域，要讨伐吴，这个地区起着相当重要的中间作用。他被安排到这个重要的区域做官的时候，确实没有让司马家失望。他只用了很短的时间就治理的完全不同于过去。虽然吴不时派遣小部队来进犯，但是羊祜一面抵御敌人，一面安排扩大军队，还命令将士参与到农耕当中。因此他在的时候，荆州不仅囤积了很多粮草，百姓的生活安定了，军队还得到了扩充，这些都为后来取得最终胜利创造了有利条件。
甚至后来有人评价说，西晋最终得以统一，结束了那段时间多年的战乱，百姓能够恢复安稳的生活，大部分的功劳应该归于羊祜。这样一位军事才能与政治思想兼具的人，如果当时真有野心的话，不知道后来会是怎样的结局呢？
