为了阻止陈庆之继续北上，魏征东将军济阴王元晖业率领羽林军两万，驻守考城（今河南民权东北）。考城的地势非常特殊，环城四面被水包围。元晖业自以为凭借天险，量陈庆之区区七千人马如何攻克考城。没想到陈庆之在水上筑起浮垒，没费吹灰之力就攻克考城，并且生擒元晖业。这一战梁军缴获了丰富的战利品，仅战车就俘获了七千八百辆。攻克考城后。大军继续向西进发，一路上魏军守将望风而降。
此时的北魏国内局势发生了转变，尔朱荣在邺城以七千精锐骑兵剿灭了葛荣几十万起义军，又打败了割据长安的萧宝寅，其他叛乱也纷纷被镇压，北魏暂时可以集结强大的兵力来对付陈庆之了。这时，陈庆之的远征军被北魏左仆射杨昱率领的七万羽林军，挡在了荥阳。而元天穆奉尔朱荣之命，正率领大军日夜兼程赶赴荥阳。另一支由尔朱世隆率领的一万人马进驻虎牢关，截断了陈庆之的退路。驻守荥阳的七万羽林军装备精良，凭借荥阳城高池深，守得固若金汤。而元天穆带来的更是久经沙场的北魏精锐骑兵。北魏这次动员了国内最精锐的军事力量，誓把陈庆之剿灭于荥阳城下。
当元天穆的援军出现在陈庆之背后的时候，荥阳仍然没有攻克。梁军看到己方陷入腹背受敌的境地时，军心开始动摇。此时，陈庆之命令人马稍作休息，他对手下兵将说："我们这一路打过来，攻城略地，杀死人家的父兄，抢掠人家的子女，都不计其数。所以元天穆手下的人马和我们不共戴天。现在我们只有七千人，而敌人接近三十万，今天咱们只能抱定决死一战的信念了。元天穆带来的都是骑兵，如果在平原交战，我们必败无疑，现在只有趁元天穆没有进攻之前攻下荥阳。大家再犹豫的话，那我们只有等人屠宰的份了"。听了陈庆之的话，终将士情绪激昂，摩拳擦掌。陈庆之立刻命令发动攻击，手下勇士前仆后继，终于在元天穆形成包围之前攻克荥阳，并且生擒杨昱。
随后，陈庆之趁元天穆大军刚到，阵脚未稳的时机，带领三千骑兵反扑敌军。魏军没想到刚刚浴血奋战疲惫不堪的梁军，居然敢放弃固守荥阳的有利条件，主动对数倍于己的敌人发动进攻。也许是过于措手不及，总之这场战斗的结果是几万魏军全线溃败，元天穆只身带领几十骑仓皇北逃。陈庆之乘胜奔驰虎牢关，虎牢关的尔朱世隆此时已经被陈庆之吓破了胆，七万守军的荥阳都不堪一击，更何况区区一万人马。尔朱世隆连犹豫一下都没有，马上放弃虎牢关逃跑了。
