长大后的羊祜相貌堂堂，风度翩翩，而且博学多才，善于写文和辩论。每每辩论总能胜出。不光喜文，而且兵法要略都非常精通。羊祜的名声便传播开来，可以叫做名声显赫。夏侯霸看好他是个绝对人才，就将自己的女儿嫁给了他。此时，聘请他出来做官的人络绎不绝，但都被羊祜给拒绝了。是他瞧不起做官吗？当然不是，他觉得曹魏是个特殊的时期，鱼龙混杂，稍有不慎就会被裹住，于是，他要审时度势。果真如羊祜所想，因为曹爽专权，把同样被托孤的司马懿给排挤出局。可老谋深算的司马懿怎么能甘心失败呢！于是，绝地反击，召集了平时豢养的"死士三千"，发动了著名的"高平陵政变"，灭了曹爽，废曹芳，另立新帝，司马家族一举夺回了朝政大权。司马懿死后，司马师主理朝政。司马师死后，司马昭接替了司马师的位置。这时候，司马昭邀请羊祜出来做官，羊祜答应了。因为在羊祜看来，曹魏的江山很快就是司马家族的了。这样的情形，很自然就看出羊祜是和司马家族是一个系统的。也就是说，是一伙的。
果真，司马昭去世后，司马炎废了少帝，建立的西晋。羊祜也被司马炎重用，被任为中军将军。虽然建立了西晋，但东吴还没有统一，这成了西晋的目标。于是，在公元269年，司马炎开始研究讨伐东吴的事情。这个时候，羊祜被任用为荆州都督。统领荆州的人马。因为荆州毗邻东吴，位置相当的重要。羊祜是非常有战略眼光的。他初到荆州看到的是战争留下的废墟。老百姓生活非常困难。于是，他采取了休养生息的策略。让士兵一半种地，一半防守，和百姓一起开荒种田。又兴办学校，办教育，课农桑。第一年就收获颇丰，以往士兵的粮食能吃八个月，这年的粮食能吃十年。解决了粮草的后患。
