此时的北魏国内局势发生了转变，尔朱荣在邺城以七千精锐骑兵剿灭了葛荣几十万起义军，又打败了割据长安的萧宝寅，其他叛乱也纷纷被镇压，北魏暂时可以集结强大的兵力来对付陈庆之了。这时，陈庆之的远征军被北魏左仆射杨昱率领的七万羽林军，挡在了荥阳。而元天穆奉尔朱荣之命，正率领大军日夜兼程赶赴荥阳。另一支由尔朱世隆率领的一万人马进驻虎牢关，截断了陈庆之的退路。驻守荥阳的七万羽林军装备精良，凭借荥阳城高池深，守得固若金汤。而元天穆带来的更是久经沙场的北魏精锐骑兵。北魏这次动员了国内最精锐的军事力量，誓把陈庆之剿灭于荥阳城下。
陈庆之背后出现元天穆的援军的时候，荥阳仍然没有攻克。梁军看到己方陷入腹背受敌的境地时，军心开始动摇。此时，陈庆之命令人马稍作休息，他对手下兵将说："我们这一路打过来，攻城略地，杀死人家的父兄，抢掠人家的子女，都不计其数。所以元天穆手下的人马和我们不共戴天。而今我们只有七千人，而敌人接近三十万，咱们只能抱定决死一战的信念了。元天穆带来的都是骑兵，如果在平原交战，我们必败无疑，只有趁元天穆没有进攻之前攻下荥阳。大家再犹豫的话，那我们只有等人屠宰的份了。"听了陈庆之的话，众将士情绪激昂，摩拳擦掌。陈庆之立刻命令发动攻击，手下勇士前仆后继，终于在元天穆形成包围之前攻克荥阳，并且生擒杨昱。
随后，陈庆之趁元天穆大军刚到，阵脚未稳的时机，带领三千骑兵反扑敌军。魏军没想到刚刚浴血奋战疲惫不堪的梁军，居然敢放弃固守荥阳的有利条件，主动对数倍于己的敌人发动进攻。也许是过于措手不及，总之这场战斗的结果是几万魏军全线溃败，元天穆只身带领几十骑仓皇北逃。陈庆之乘胜奔驰虎牢关，虎牢关的尔朱世隆此时已经被陈庆之吓破了胆，七万守军的荥阳都不堪一击，更何况区区一万人马。尔朱世隆连犹豫一下都没有，马上放弃虎牢关逃跑了。
《梁书列传二十六陈庆之传》明文记载了陈庆之荥阳之战的经过："魏左魏左仆射杨昱、西阿王元庆、抚军将军元显恭率御仗羽林宗子庶子众凡七万，据荥阳拒颢。兵既精强，城又险固，庆之攻未能拔。魏将元天穆大军复将至，先遣其骠骑将军尔朱吐没儿领胡骑五千，骑将鲁安领夏州步骑九千，援杨昱；又遣右仆射尔朱世隆、西荆州刺史王罴骑一万，据虎牢。天穆、吐没儿前后继至，旗鼓相望。时荥阳未拔，士众皆恐，庆之乃解鞍秣马，宣喻众曰："吾至此以来，屠城略地，实为不少；君等杀人父兄，略人子女，又为无算。天穆之众，并是仇雠。我等才有七千，虏众三十余万，如今之事，义不图存。吾以虏骑不可争力平原，及未尽至前，须平其城垒，诸君无假狐疑，自贻屠脍。"一鼓悉使登城，壮士东阳宋景休、义兴鱼天愍逾堞而入，遂克之。俄而魏阵外合，庆之率骑三千背城逆战，大破之，鲁安于阵乞降，元天穆、尔朱吐没儿单骑获免。收荥阳储实，牛马谷帛不可胜计。"
