但是，以权臣贾充为首的群臣却极力反对灭吴之举，只有羊祜、杜预与张华三人主张伐吴，但当时羊祜奉命在荆州前线镇守；杜预还未被重用，所以在朝中的张华力排众议，向晋武帝力谏伐吴，促使司马炎终于下定了伐吴的决心。
咸宁四年（278年），羊祜病重，晋武帝派张华当面去询问灭吴之计，
羊祜对张华说：我们圣上的位置是受让禅得来的，应该创立功勋才能服众人，现在吴主暴政已到极点，此时伐吴（吴国劲敌陆抗已死）可以不战而胜；如错过这一大好时机，一旦吴国更换了贤明的帝王，我们就是有千军万马，也难以越过长江天险，将会留下后患的。
张华非常赞同羊祜的主张，羊祜最后又深情地说：能实现我这个愿望的人是你啊！可见他对张华是十分信任的。张华回到武帝身边，及时转达了羊祜的伐吴主张，同时也表达了二人同仇敌忾，共同主张伐吴的坚决态度。
