于是二人的矛盾就出现了，有一次二人发生很大的冲突，徐寿辉的手下陈友谅就把倪文俊给杀了。杀了倪文俊之后徐寿辉很感激他，就给了他权力。然而我们知道陈友谅这个人野心更大，有了权力之后，他就一点一点的把徐寿辉给架空。徐寿辉身边的人全被陈友谅给杀了，徐寿辉成为了一个傀儡。也许是还不到时机，所以陈友谅也就没杀掉徐寿辉。
后来又过了一段时间，陈友谅感觉时机到了，于是就计划着杀掉徐寿辉。不过杀皇帝的事，不能明着，只能找一个偏僻的地方。于是有一天他就把徐寿辉给带到安徽的一个庙里边，并且让事先埋伏好的人冲出来杀掉徐寿辉。就这样才当了几年皇帝的徐寿辉就挂了。
当年徐寿辉让手下攻占四川后，就让自己的手下驻扎在那边，这个人就是明玉珍。也许正是因为驻扎在四川所以才没有被陈友谅给清理掉，明玉珍这个人对徐寿辉还是很忠心的，听说徐寿辉死后很伤心。于是就建立一个庙来祭拜徐寿辉。徐寿辉死后，明玉珍拒绝陈友谅劝降，就自己当了皇帝。而且当皇帝后励精图治，在他的治理下四川成为了乐土。
再后来明玉珍死后，朱元璋就占领了四川。也许是之前明玉珍对当地百姓很好，再加上不少是红巾军的后代，所以他们就很怀念徐寿辉与明玉珍。后来他们就修建了一座寺庙来怀念他们，而在寺庙里有一尊文殊菩萨长长被人跪拜。
