元狩六年（公元前 117年）年仅24岁的霍去病病逝，这对卫子夫的后位，和刘据太子地位都埋下巨大隐患。这一切还没有结束，卫青的身体也每况日下，在霍去病病逝后13年，卫青也病逝。卫青虽死，卫家余威还在。
"巫蛊之案"太子刘据被逼起兵自保，兵败逃匿，最后自杀身亡，卫子夫也被逼自杀。卫子夫在她死后17年，她的曾孙坐在原本属于她儿子的帝位上。随后她被沉冤昭雪，但唯一不足的是，她没有和刘彻和葬。
后来，刘彻不在喜欢卫子夫，不是因为仰制外戚势力，主要原因：卫子夫年老色衰，容颜不再。刘彻开始喜欢年轻漂亮的：李夫人、尹婕妤、刑娙娥、赵婕妤等等。
