羊祜赴任之后，立即做伐吴准备工作，但经过西陵之战失败后，羊祜判断认为"东吴国势虽已衰退，但还有一定实力，尤其还有陆抗这样的优秀将领，因此伐吴不宜操之过急。"于是，羊祜调整战略，采取逐步蚕食与攻心的策略，以积蓄实力，瓦解对方，寻找灭吴的合适时机。
尤其攻心战略，以至连东吴名将陆抗都中招，称赞羊祜"虽乐毅、诸葛孔明不能过也"。一次陆抗生病，向羊祜求药，羊祜立即使人送药过来，陆抗手下怕有诈，劝他谨慎服用，但陆抗却直接服药，云："羊祜怎会用毒药害人呢"。连东吴主将陆抗都对羊祜信服不已，更何况羊祜刻意攻心之下的其他人？
276年，万事俱备只等令下，羊祜上书《请伐吴疏》，认为晋国天时地利人和皆具，此次伐吴必胜，不能给吴国留下太多时间以防有变，尤其吴主孙皓昏聩残暴，导致上下离心，一旦孙皓突然去世东吴迎立新主，那么局势可能生变。于是，司马炎有心伐吴，拜羊祜为征南大将军。
但羊祜为人过于正直，嫉恶如仇，因而受到贾充（毒女贾南风之父）、荀勖、冯紞等的忌恨。因此，这一伐吴建议立即遭到众多反对，权臣贾充、荀勖、冯紞等的态度尤为激烈，不想让羊祜立下不世奇功压制他们一头，提出西北地区的鲜卑未定，不该两线作战。当时，恰逢鲜卑树机能打下凉州，尽管羊祜认为"东吴平定，则胡人自然安定，当前只应迅速完成灭吴的大业"，可惜多数人不支持羊祜。最终，因为鲜卑树机能打下凉州，司马炎将重心放在了西北，这一次伐吴计划不了了之。
278年，羊祜去世，留下一生遗憾。
