这期间的朱载垕，何尝不焦灼热盼，但他却从未得到过来自皇帝老子的父爱。相反，首当其冲的成了被忌恨的主要对象，一直处在生活苟安窘迫、命运朝夕危惧当中，明世宗不仅剥夺了他本应享有的母爱，还祸及了他的儿子朱翊钧。
嘉靖三十三年（1554 年）正月，朱载垕的生母杜康妃去世，礼部奏请丧祭从优，但被明世宗拒绝，要求裁减。沈德符在《万历野获编》中记载"嘉靖三十三年，康妃杜氏薨，则穆宗生母也。礼官请复三年丧，上不许，又引〔明太祖〕孙贵妃故事亦不从，且以避至尊，不宜重服下谕，大臣遂不敢争，且自穆宗就裕邸后，生不得见，没不得诀，亦可悲矣。"
后来，朱载垕的第三个儿子出生了（前两个儿子早夭），也就是后来的明神宗朱翊钧，对于小皇孙出生，朱载垕是不喜反忧，因为他知道父亲不喜欢听到有皇孙诞生的消息，因此是"穆宗在潜邸，朝夕危惧。今上诞生，不敢奏闻，至两月间不敢剪发。一日，有宫女最喜者乘间以闻，上怒而谴之。宫中股栗，莫知所为。"（见于慎行的《谷山笔麈》卷之二）
