王贵追随岳飞十余年时间，期间忠心耿耿，然而在绍兴十年（1140年）的北伐中，却因为一件事惹恼岳飞，并埋下他背叛恩主的伏笔。当年七月，金朝都元帅完颜宗弼（兀术）率主力猛扑颍昌，王贵奉命率岳云等人迎敌，结果在胜负难分之际，他一度怯战想要逃走，幸亏被岳云及时制止。事后，王贵受到岳飞的训斥、责罚，由此对主帅产生怨恨。
当时宋金之间和议即将达成，而岳飞却坚决反对签订丧权辱国的条约，由此遭到宋高宗、秦桧君臣的嫉恨。宋高宗为避免岳飞阻扰和议进程，便在北伐事业大获成功之际，竟然连发十二道金牌，严令岳飞回朝，并将军队交由王贵统领，北伐事业至此形同废止。
岳飞回朝后，即被解除兵权
岳飞回朝后，先是被授予副枢密使的虚职，随即便遭到秦桧、张俊等人的诬陷，被打入牢狱。为了尽量多的搜集岳飞的"罪状"，秦桧、张俊便引诱曾遭受责罚的王贵诬告主帅，但遭到后者的拒绝。秦、张见王贵不肯就范，便拿他的隐私来要挟他，迫使其最终只能听命。
