于是，朱瞻基便对大臣们编造理由，说皇后无子、体弱多病等，甚至还亲自逼着胡皇后让位。胡善祥此时也明白自己在宫中待不下了，一是没为皇帝生儿子，二是两人本身也没什么感情，与其坐在这个位子上天天被皇帝逼迫，不如主动让位给孙贵妃。
胡善祥本来就是一个老实本分之人，在宫中这么些年也未跟谁红过脸，现在这种情景更不会有什么手段来处理这件事。所以后来就答应朱瞻基，退位让贤了。
胡善祥被废后做了道姑，从此青灯古佛了却一生，因此面对她这样的遭遇世人很是同情，而太后也对胡善祥格外怜惜，经常照顾她。等这件事过了几年后，朱瞻基又突然对自己无缘无故废掉这么一位贤良淑德的皇后也很后悔，但事已至此，无法挽回。
胡善祥，就从此孤苦、凄凉一生。
