除了没能为皇帝诞下男嗣外，胡善祥过于严肃、正派的形象，也让明宣宗对她甚是不满。宣德三年（1428年），明宣宗在孙贵妃的蛊惑下，不顾重臣张辅、蹇义、夏元吉、杨士奇、杨荣等人的劝谏，以胡皇后无子、身体多病为由，命令她"主动"上表辞去皇后的位子，随后册立孙贵妃为皇后。"后乃退居长安宫，性本恬不喜事华饰，至是学清净，奉黄老为仙姑。"
胡皇后没有任何过错便被废黜，一时间朝野为之失望，为她叫冤鸣不平者甚多，其中便包括婆母张太后（诚孝张皇后）。虽然胡善祥出家为道姑，但张太后依然十分挂念这位贤惠的儿媳，"特召入，居清宁宫。"不仅如此，每逢宫内举行盛大宴会时，"必命后居孙后上，孙后常怏怏。"
正是因为有张太后无微不至的关怀，胡善祥才获得继续活下去的勇气，并顽强地活过宣宗，活到英宗朱祁镇在位时。正统七年（1442年）十月，太皇太后张氏薨逝，胡善祥失去最后的"精神支柱"，身体便迅速地垮了下来。次年，胡善祥因哀伤过度去世，终年42岁。胡善祥死后，朝廷以嫔御之礼将其葬于金山，直到20年后，才重新恢复她的皇后称号。"后无过被废，天下闻而怜之。宣宗后亦悔。尝自解曰：'此朕少年事。'天顺六年，孙太后崩，钱皇后为英宗言：'后贤而无罪，废为仙师。其没也，人畏太后，殓葬皆不如礼。'因劝复其位号。英宗问大学士李贤。贤对曰：'陛下此心，天地鬼神实临之。然臣以陵寝、享殿、神主俱宜如奉先殿式，庶称陛下明孝。'七年闰七月，上尊谥曰恭让诚顺康穆静慈章皇后，修陵寝，不祔庙。"
