等到恒温病死，司马曜的心才落了地，但这不意味着他拥有了实权，后桓温的弟弟桓冲和大臣谢安的势力首当其冲，形成平衡。司马曜身处高位，权力是一方面，他同样喜好酒色，宠爱美貌的张贵人。
张贵人虽受尽司马曜的宠爱，但她心中有一个顾虑，那就是自己没有生下孩子，司马曜自皇后去世后就没有再立后，即使现在凭美色受宠，但也有容颜衰老的一天，那时又该如何度过，因此张贵人心中烦闷。
太元二十一年九月二十日，司马曜和张贵人一起喝酒，一如往常司马曜一喝酒就停不下来，很快就醉了，这次喝醉了的司马曜对宠爱的张贵人说："你已经快30岁了，早已不年轻了，又没有生下孩子，白白占着一个贵人的位置，明天我就废了你，再找貌美年轻的女人。"
