据《宋史》载，南宋绍兴二年（公元1132年）三月，翟兴率部与金朝扶植的傀儡刘豫作战。经过连续激战，翟兴战事失利。在撤军途中，马失前蹄，翟兴摔落马下。此时，早已暗中叛变投敌的翟兴部将杨伟趁机将翟兴杀害。随着翟兴的意外离世，战场形势也发生了重大变化。在刘豫所部的围攻下，彭玘节节败退，不得不投降。此后，他被刘豫任命为武德大夫，率部驻扎汝州。不过，此时的彭玘早已暗下决定，有朝一日定会重回大宋的怀抱。
幸运的是，彭玘等待的时间并不算长。第二年年初，南宋襄阳镇抚使李横在杨石店一带与刘豫的军队展开激战。李横巧施计策，将对手击败，并收复颖昌、叶县等地。彭玘认为时机已到，起兵响应李横。至此，彭玘终于摆脱了叛徒的骂名，名正言顺地重回宋军序列。
据《续资治通鉴》及《宋史》相关传记记载，彭玘起兵后，与李横等人一起发动了多次战斗，一举打破了金军不可战胜的神话。在战斗的过程中，彭玘还与一位后人耳熟能详的南宋名将一起并肩作战，此人便是大名鼎鼎的牛皋。经过连番激战，彭玘和牛皋、李横等人终于夺回了蔡州、唐州、汝州等多地。彭玘也因战功被授予汝州知府一职。
