他告诉宋江："如今兄长已经功成名就，现在是我同各位告别的时刻了，贫道想要回归山中，从师学道，赡养母亲，颐享天年"。
中国人自古以来就对孝道特别重视，对于这样的理由，宋江也没有办法拒绝，只能同意，在离别的时候，好汉们想要赠送钱财给公孙胜，但是都被他拒绝了，他表示，十万贯钱财对他来说也没有多大意义，他只想要潜心修道。
其实他和宋江等人本身就不一样，他本身就是修道的人，没有宋江那么大的野心，虽然他坐的是第四把交椅，但是很少参与梁山的内政，道不同不相为谋，他早就看穿了宋江的野心，才会在宋江上山以后就决定辞别。
《水浒传》第四十一回是这样的：宋江刚刚被解救出来，他没有按照晁盖的丰富先回到山寨去修养，反而是坚持第一时间攻打黄文炳，也正是因为这个问题，晁盖和宋江产生了分歧，公孙胜是梁山的元老级人物，怎么可能不知道这些事情呢？
这件事起码说明了两点，第一就是宋江并不是真心服从晁盖的命令，第二是宋江在梁山上已经有了一批自己的支持者。他向来和晁盖的关系更好，若是宋江有一天取代了晁盖，那还自己的日子肯定过得不舒服，所以还是早点离去，他是梁山好汉中少数几个没有参与征方腊的人。
