宣德三年，朱瞻基正式下诏，以"无子多疾"为由，废黜胡皇后。随即，册立孙贵妃为后，封长子朱祁镇为皇太子。
胡善祥被废以后，迁居长安宫为道姑，赐号静慈仙师。朱瞻基的母亲张太后，一直很喜欢胡善祥，见她无过被废，心里十分怜惜。此后，张太后常常召她去清宁宫居住，设宴之时，也让胡善祥居于孙皇后之上，让孙皇后心里很不是滋味。
胡善祥虽然没有儿子，但她为朱瞻基生下两个公主，那么她被朱瞻基废掉后，两个女儿生活如何呢？
虽然已经不是皇后，但胡善祥的生活，并没有受到多大影响。毕竟朱瞻基也知道，胡善祥无过被废，自己实在是亏欠了她。再者张太后喜爱胡善祥，所以她的生活质量不会降低。她的女儿好歹也是公主，待遇自然不会太差。
