当时的水军头领张横急着表现自己，不顾其他人的劝说，就率领了几百人去偷袭关胜营帐，结果这个消息被关胜的手下得知了。关胜就设下埋伏，等他们到来全部被俘虏。张顺和阮氏兄弟们前来迎接，也中了这个关胜的埋伏，溃不成军。李俊算是安排人把这几个人救了回来，阮小七算是被关胜抓住了。关胜把张横、阮小七押到囚车上，准备一并捉了宋江后一起回去复命。
宋江带领人回到梁山后，在山脚下和关胜对阵，而且宋江还夸奖了关胜一番，秦明和林冲上镇前和关胜打斗了一番，基本是平手，宋江看这个关胜是个人物，打算能收到自己手下，担心在交战中受伤，就吹号收兵了。后来，呼延灼假装投降关胜，诱惑关胜进入山寨，将他引到了包围圈里。关胜被梁山人马用绳子活捉了，他的部下也被抓获了。宋江亲自上来给松绑了，非常客气的赔礼道歉。呼延灼也赔不是了半天。关胜看梁山上的人马重义气，自己在朝也不得志，就和部下一起投奔了梁山。
在第二次打大名府期间，关胜担任了先锋将领，在飞虎峪和大将索超交战。李成看见索超不是对手，就自己骑马也出阵夹击关胜，他的部下其中两个将领也出战帮助关胜，这五个人就陷入混斗中。宋江趁这时候安排全部人马冲锋，这才取胜了。第三次攻打大名府期间，关胜还是领一路人马做先锋大胜大名府事件以后，朝廷又安排了两个将领去攻打梁山，一个叫单延圭，一个叫魏定国，关胜和这俩人是老相识了，最后还是用计谋劝说着俩人也上了梁山。
