出宫后的崔玉贵并没有为自己置办宅子养老，而是给立马关帝庙捐了680亩地，并住在庙中。这座建造于光绪年间的庙宇成为宫中年老病弱太监的终老之地，很多太监都在这里安度晚年，尤其是崔玉贵捐了这么多的地之后，更是有了专门的太监大院，大家住在里面养老，也算是有个伴。
崔玉贵在宫中服侍慈禧太后的时候，为人不错，因此人缘很好，在太监中的名声不错，他出宫后的生活比较平静，并未被谁为难过，他是一个比较自律的人，不吸烟不喝酒，每天都要出去练武，然后外出溜溜弯，看看过去的老相识，日子倒也是不错，用他自己的话说就是："我活着就活个痛快！"
但是人都会老，崔玉贵也不例外，1926年，六十多岁的崔玉贵因为疽发背而病死在立马关帝庙中，也算是得了善终了。
