后宫没有了娘家人的支持，卫子夫的地位无疑是充满了危险的。汉武帝晚年时期，出现了巫蛊之祸，受到巫蛊之祸的牵连，先是太子刘据被陷害，其后卫子夫也被陷害。在当时来说，刘据起兵谋反，卫子夫充当了“帮凶”的角色。
此时的卫子夫被陷害，悲伤绝望之下，卫子夫以死明志。卫子夫可能做梦都不会想到，善良的她竟然没有得以善终。卫子夫的结局无疑是非常悲凉的，这一点也让卫子夫与汉武帝反目成仇。卫子夫死后，苏文等人将她装在小棺里，葬在长安城南桐柏亭。
作为汉武帝的皇后，这样的丧葬无疑是非常简陋的。同时也没有了皇后的尊容，值得一提的是，卫子夫没有与汉武帝合葬，这到底是为什么呢？最主要的原因就是汉武帝对废太子刘据的不安，当时刘据起兵造反，是卫子夫提供的调兵令牌。
巫蛊之祸的出现，让汉武帝与卫子夫之间出现了隔阂，汉武帝开始变得多疑，总觉得有人要加害于他。汉武帝知道刘据是被陷害的之后，开始为刘据平反，却没有为卫子夫平反过。因此汉武帝对卫子夫肯定还是有隔阂的。直到汉武帝驾崩也没有消除。
卫子夫去世后，丧葬无疑是非常简陋的，当时的卫子夫被埋葬在长安城南，史书记载为“黄门苏文、姚定汉舆置公车令空舍，盛以小棺，瘗之城南桐柏。卫氏悉灭。”通过这样的记载来看，卫子夫死后，卫氏家族就销声匿迹了。
