这个胡善祥虽然是被封为皇后，可是孙氏也有一个金宝金册，也就意味着其实她跟皇后是一样的待遇，后来孙氏先生下了一个皇子，胡善祥只有一个女儿，孙氏就撺掇皇帝把这个胡善祥直接用"无后"这个原因废掉了，但是没想到的是百官都是不愿意的，所以朱瞻基没有办法只能去劝这个胡皇后让她自己退皇后的位置，胡善祥很善解人意，也不愿意让自己爱的男子为难，所以就自己退位了，还去了寺庙，被赐号静慈仙师。
后来孙氏就成为了皇后，但是她并不能让百姓臣民认可，毕竟胡善祥珠玉在前，她并没有那么的贤惠，后来张太后也看不下去了，所以就跟胡善祥一起生活了，这让孙氏非常的不平衡，但是她也没有办法。后来张太后去世之后胡善祥也因为伤心过度跟着一块去了，孙氏成为皇后之后简直就是目中无人，所以很不得民心。根据记载，其实朱瞻基到了后来的时候他也是很后悔的，在《明史》中就有"（胡氏）后无过被废，天下闻而怜之。宣宗后亦悔。曾经自己还说："此朕少年事"，后来他的儿子登基之后把胡善祥的名号恢复了。
