武定元年（543年）正月，东魏北豫州刺史高慎因为高欢之子高澄想要霸占他的妻子，心怀愤恨之余，便占据虎牢关向西魏投降。宇文泰闻讯后率大军入援，并直扑故都洛阳，包围河桥南城。高欢得知高慎叛逃、宇文泰东侵的消息后，迅即率大军南下，与西魏军队在邙山交战。
战事之初，宇文泰为求速战速决，便命令士兵们抛弃辎重，只带少量干粮，然后趁夜攀登邙山，意图打高欢一个措手不及。然而西魏军队的举动早被东魏的探子报之高欢，后者遂下令分兵摆阵待敌，让宇文泰的突袭计划落空。无奈之下，宇文泰只好向高欢下战书，约定明晨开战。
等到两军甫一接触，彭乐便亲率数千精骑为右翼，冲击西魏军北面，所向之处敌军纷纷溃逃。然而彭乐冲入敌阵后许久都没有出来，此时有人便告诉高欢，称彭乐这次铁定是叛逃了宇文泰。高欢听后脸上青筋暴跳，恨恨地说道："彭乐这厮当年背叛韩楼投靠尔朱荣，然后又抛弃尔朱氏归降孤，如今又投降宇文泰，真是个反复小人！"
