谢玄部下广陵相刘牢之亦于此时遣宣城内史胡彬率众向寿阳，以为攻襄阳的桓冲军声援，显示出大敌当前时东晋内部桓、谢两大门阀的团结。
但与此同时，桓冲推荐王荟出任江州刺史，谢安则推出谢輶来当江州刺史，两方冲突又起，最后谢氏让步，孝武帝以桓冲自领江州刺史。
这反映出门阀之间的潜在矛盾，为同仇敌忾的表象下增添了不和谐音符。太元八年（383年）八月，前秦天王苻坚下诏大举攻晋，试图统一中国，淝水之战终于爆发。苻坚亲率步兵60万、骑兵27万、羽林郎（禁卫军）3万，共90万大军从长安南下，绵延数千里，水陆齐进，仅运粮船只就有万艘。同时，苻坚又命梓潼太守裴元略率水师7万从巴蜀顺流东下，向建康进军。苻坚骄狂地宣称："以吾之众旅，投鞭于江，足断其流。"这就是著名典故"投鞭断流"的来历。东晋北上抗击秦军的总共兵力才8万，在宰相谢安的主持下，以谢石为大都督，谢玄为前锋，北府兵为主力，前往迎战。当时秦军前锋苻坚之弟苻融率30万大军首先到达颍口，秦军初战告捷，攻占寿阳，又截断了东晋派来救援的胡彬军的退路，将其团团包围在硖石。苻坚接到捷报大喜，他留大军于项城，带轻骑八千赶到寿阳，又派在襄阳俘获的东晋将领朱序去劝降晋军。朱序则心怀故国，将秦军部署和盘托出，并建议趁秦军未完全集结，迅速出击。谢石本来是打算坚守不战，听了朱序的话后便改变了作战方针，决定主动出击。十一月，谢玄派刘牢之率精兵五千强渡洛涧，去攻击对手的5万人马，大获全胜，斩前秦梁成等10将。洛涧之战令晋军信心倍增，谢石继续挥军水陆并进，直抵淝水东岸，在八公山边扎下大营，与寿阳的秦军隔岸对峙。谢玄见双方力量对比悬殊，形势又不容许晋军旷日持久地打消耗战，便派使者去秦营，要求秦军把阵地稍向后退，空出一块地方，好让双方一决胜负。苻坚认为让军队稍向后退，待晋军半渡过河时，再以骑兵冲杀，这样就可以取得胜利，于是就答应了谢玄的要求，指挥秦军后撤。结果秦军一后撤就失去控制，阵脚大乱。谢玄率领八千多骑兵趁势抢渡淝水，向秦军发动猛攻。朱序这时在阵后乘势喊叫："秦军败了！秦军败了！"秦军有很多是强征入伍的，而且由多个民族组成，可谓同床异梦，人心本来就不稳，朱序这一喊，以为真的败了，越发慌乱，争相逃命，几十万军队就像山崩了一样丢盔弃甲的大溃逃。谢玄等乘胜追击，直至青冈（今寿阳县西三十里）。此时，前秦名将苻融战死，苻坚中了流矢，单骑北逃，朱序乘乱投奔晋营，东晋获得淝水之战的胜利。淝水之战是中国历史上以少胜多、以弱胜强的著名战例，并给后人留下了著名的历史典故和成语。如"投鞭断流"、"风声鹤唳"、"八公山上，草木皆兵"等，一直脍炙人口。
淝水之战后，东晋趁北方大乱之机，收复了巴蜀及山东河南大片失地，一直打到黄河北面的邺城。
后来由于翟魏、西燕、后燕等胡族政权的反攻加上东晋朝廷的内斗，东晋在淝水战后所收复的淮北土地至孝武帝末年又大部丧失。主相相持
