晋武帝司马炎代魏称帝后，全国尚未统一，西晋一直想发动灭吴战争，但内部的意见并不一致。咸宁四年（278年）春季，支持灭吴的晋军荆州前线的主帅羊祜病重，临终前，举荐杜预接替自己。十一月，司马炎委任杜预为镇南大将军，驻守襄阳，为将要发动的灭吴战争作准备。
杜预到达荆州后，首先实施了一条借刀杀人之计，诱使多疑的吴主孙皓撤换了驻守西部门户西陵的名将张政。咸宁五年（279年），杜预先后三次上书，详细剖析攻打孙吴的形势，促使司马炎终于下定决心，立即发兵伐吴。杜预在这次战争中担任西线统帅，任务是攻占荆州，并调遣益州出发的水师，顺流直下围攻吴的都城建邺。
太康元年（280年）年初，杜预的军队包围江陵。江陵是荆州治所，城防坚固，杜预不想在这里消耗兵力，只是围而不攻。在切断了江陵和外围的联系后，杜预派遣得力将领率领八百名精兵去偷袭吴军都督孙歆所在的乐乡。这支部队渡过长江，按照杜预的计谋，一方面在山上四处点火，到处张设旗帜，虚张声势；一方面分兵袭击乐乡附近的各个军事要点。这样一来，吴军都督孙歆不知道敌军底细，被吓得坐卧不安，各处的吴军也人心惶惶。接着，杜预派出的这支人马又乔装打扮，混在吴军的队伍里溜进乐乡城里，活捉了吴军都督孙歆。主帅被擒，江陵很快失守，杜预全面占据了荆州。在攻占江陵后他说："今兵威已振，譬如破竹，数节之后，皆迎刃而解，无复著手处也。"这就是成语"势如破竹"的出处。
接着杜预挥师东进，配合其他各路晋军攻打孙吴的都城建邺，还分兵南下，攻占了交州、广州地区。
