1924年，冯玉祥倒戈进京，把末代皇帝溥仪赶出紫禁城，随后孙耀庭也被迫离开皇宫，在摄政王载沣的家里继续服侍婉容皇后，那段时光孙耀庭可以说是饱受各种磨难，没有小德张那么的幸运。不久，婉容想念溥仪心切，最终从载沣那里去寻找溥仪，而孙耀庭的太监人生从此也画上了句号。
不当太监后，孙耀庭回到了天津老家，由于干不了重活所以没有经济来源，只能依靠兄弟们去生活，一直持续了数年有余，孙耀庭才懂得世间无常、人生多苦的道理，最终重返北京兴隆寺定居，便过上了清净的佛门生活。
新中国成立后，孙耀庭的生活同样得到改善，国家还给他每个月16块钱的补助费。在佛门生活多年，孙耀庭用过去积累的经验来总结出一套完整的寺院管理体系，被认可后他还参与北京各处寺院管理，每月一共获得酬劳为35元。
