不过很快到了1924年，冯玉祥推翻了北洋曹锟政府，修改了清廷优待的条例，将溥仪赶出了紫禁城，既然被赶出来了，自然也就不能留下这么多的太监群体，于是这些庞大的太监群体大部分都被遣散，虽然临走的时候痛哭流涕，但毕竟溥仪此时自身也难保，这些人即便是哭也没有什么用，该走的还是要走。
孙耀延也因此而离开后宫，本来打算回到家乡，但是没想到回到家以后，但在家乡受尽白眼，孙耀延知道，自己这一生恐怕是再难有什么出路了，于是有回到了北京，前往万寿兴隆寺生活，在清末万寿兴隆寺本身就是太监养老的地方，是清乾隆年间皇宫里乾清宫总管大太监刘钰和副总管太监肖云鹏创办的。
