羊祜因为支持司马炎灭东吴的想法，被派往边界荆州。羊祜发现，荆州不但百姓生活不安定，就连军粮也不充足。于是，他把对吴作战放在一边，首先发展地方事业：办学校，兴教育，安抚百姓，实行屯田。他把军队分成两半，一半巡逻戍边，一半开荒种田。结果很明显，没过几年就积攒了可用十年的粮食，而他刚到时，军粮都不够一百天。粮食是国家和军队的根本，有了粮食，荆州百姓安稳，社会安定，军队也有了底气。
对外，羊祜采取怀柔政策，实施攻心战术。在荆州边界，羊祜对吴国的百姓和军队很讲信义。每次交战，羊祜都先和对方商定交战的时间。大有春秋时期"仁"的特点。有一次，部下在边界抓到两个吴军将领的孩子。羊祜让人把孩子送回。后来，那两个孩子的父亲带部下一起投奔羊祜。打猎的时候，羊祜不许部下超越边界线。如果吴国人射中的禽兽跑到晋国境内，都会给送回去。羊祜的作法让吴人心悦诚服，尊称他"羊公"。
