两个皇子接连死去，宪宗伤心不已。其实，他另有一个皇子，是西宫的纪淑妃所生。
纪氏是广西土司的女儿，被俘入宫，因为文化素养很高，负责管理皇室内库。某一天，宪宗偶然来到此地，见纪氏应对如流，颇为喜欢，一来二去，纪氏怀孕了。万贵妃知道后，非常妒忌，命婢女给她服堕胎药。宪宗知道了，要纪氏谎报病重，谪居安乐堂(养老院)，委托太监张敏照看。不久，皇子出生，头顶有寸许没有头发，就是服药留下的痕迹。纪氏害怕因此遭祸，请求太监张敏把婴儿溺死，张敏知道是皇上的儿子，不敢下手，假称溺死，在密室抚养。被废的吴皇后住在西内，离安乐堂很近，获悉此事，时时前来抚养。
得到了万贵妃的同意后，宪宗派太监前来安乐堂迎接皇子。纪氏抱着皇子哭泣道：儿子去了，我就活不成了。儿见到身穿黄袍有胡须的人，就是你的父亲。身披长发，穿着小红袍的皇子，乘坐小轿，来到父亲面前。宪宗把他抱在膝上，悲喜交加地抚视着，流着眼泪说：儿子长得像我。此时皇子已经六岁，还未起名，宪宗要礼部草拟，由他圈定为"祐樘"。
外廷大臣得知皇子由万贵妃抚养，生怕又弄出什么事端，内阁大学士商辂与同僚联名上疏，向皇帝指出：皇子聪明绝顶，国本攸关，外间传闻生母因病别居，母子久久不得见面。希望把皇子生母移住近处，使母子朝夕相处，是宗社的大幸。
纪氏迁居永寿宫后，宪宗多次与她宴饮。万贵妃妒火中烧，设计下毒，致使纪氏病倒，几天后去世。《明史·后妃传》说："纪淑妃之死，实(万贵)妃为之。"这一点，是确凿无疑的，连明宪宗心里也明白，却不敢说破。千方百计保护皇子与纪氏的太监张敏，害怕遭到万贵妃陷害，自尽而死。
