面对皇帝的质问，深受宠信的两方却把所有的责任推脱到兴建寺庙上面了，是是为了给皇帝祈福。皇帝对此并不相信，但是想到了梁芳平常对他的好，又没有对她惩罚，只是告诉他会有人收拾他的。皇帝走后梁芳越想越害怕，这个时候突然想起来万贵妃对太子非常不喜，如果自己能帮助万贵妃废掉太子重新立一个新的太子，这件事也许就过去了。但是在这种国家兴亡的大事上皇帝却不会被他们左右，所以他们的计谋没能得逞。
成化二十年，天空当中有流星划过，在当时的社会环境下人们并不知道这是怎么回事。皇帝担心是上天要对他进行惩罚，所以要求文武百官说出他有哪些地方做得不对，都提出来，方便他改进。当时朝廷所有官员纷纷上书弹劾梁芳和他的党羽，认为皇帝终于要英明一次了。但是皇帝终究还是让他们失望了，面对两方的弹劾皇帝统统视而不见，对梁芳没有任何惩罚。
一直到第二年新皇帝登基，这种局面才结束。新皇帝也知道这个太监曾经和万贵妃想废掉自己，所以对她充满深仇大恨。但是因为老皇帝在此之前给这个太监太高的位置，他也不好一下子就下手太狠。于是新皇帝把他革职，把他赶回老家，一辈子也没有再重新启用。
