有个跟随虞允文一起去的官员悄悄地对虞允文说："朝廷派您来劳军，又不是要您督战。别人把事办得那么糟，您何必背这个包袱呢？" 虞允文气愤地说："这算什么话！现 在国家遭到危急，我怎么能考虑自己的得失，逃避责任。"
虞允文是个书生，从来没有指挥过战争。但是爱国的责任心使他鼓起勇气。他立刻命令步兵、骑兵都整好队伍，沿江布阵，又把江面的宋军船只分为五队，一队在江中，两队停泊在东西两侧岸边，另外两队掩匿山后。
敌军以为采石无兵，及近南岸，见宋军列阵相待，当涂人民观战助威者十数里不绝，方才大惊，欲退不能，只得前进。几百艘金军大船迎着江风，满载着金兵向南岸驶来。没有多少时间，金兵已经陆续登岸。虞允文命令部将时俊率领步兵出击。时俊挥舞着双刀，带头冲向敌阵。兵士们士气高涨，拼命冲杀。金兵进军以来，从没有遭到过抵抗，一下子碰到这样强大的敌手，就都垮下来了。
江面上的宋军战船，也向金军的大船冲去。宋水军多踏车海鳅船，大而灵活，而金军船只底平面积小，极不稳便，宋船乘势冲击，就像尖利的钢刀一样，插进金军的船队，把敌船拦腰截断。敌船纷纷被撞沉。敌军一半落在水里淹死， 一半还在顽抗。太阳下山了，天色暗了下来，江面上的战斗还没有结束。
这时候，正好有一批从光州 （今河南潢川）逃回来的宋兵到了采石。虞允文要他们整好队伍，发给他们许多战旗和军鼓，从山后面摇动旗帜，敲着鼓绕到江边来。江上的金兵听到南岸鼓声震天，看到山后无数旗帜在晃动，以为是宋军大批援兵到来，纷纷逃命。金军遭到意料不到的惨败，气得完颜亮暴跳如雷，将怒气全发泄在士兵身上，勒令第二天强渡长江，完不成任务者军法从事。次日，虞允文又派新盛率水军主动进攻长江北岸的杨林渡口。金船出港，宋军用强弩劲射，又使用霹雳炮轰击，又大败金军。完颜亮见渡江失败，只得退回和州，接着逃往扬州。
