后来汉武帝对自己其他几个儿子越来越宠爱，有意无意间就冷落了刘据。公元前94年，汉武帝的宠妃赵婕妤（钩弋夫人）怀胎十四个月后生下皇子刘弗陵，汉武帝非常高兴，他对身边的人说："闻昔尧十四月而生，今钩弋亦然。"于是将钩弋夫人寝宫外的大门更名为"尧母门"。司马光在《资治通鉴》中对此事做了这样的评价："为人君者，动静举措不可不慎，发于中必形于外，天下无不知之。当是时也，皇后、太子皆无恙，而命钩弋之门曰尧母，非名也。是以奸臣逆探上意，知其奇爱少子，欲以为嗣，遂有危皇后、太子之心，卒成巫蛊之祸，悲夫。"尧是上古圣君，汉武帝将幼子刘弗陵和尧相提并论，这给太子刘据带来的压力是可想而知的。
刘据是皇后卫子夫之子、大司马大将军卫青的外甥。早年卫子夫得宠，卫青又在战场上屡建奇功，所以刘据的"腰杆"算是非常硬。可后来卫子夫年老色衰，失去了汉武帝的宠幸，卫青又英年早逝（据史料推测大约48岁左右）。刘据背后最强大的两股力量都逐渐失去了依靠，这对刘据来说又是一次更重大的打击。
公元前92年，"巫蛊案"拉开序幕。当朝丞相公孙贺（公孙贺的妻子是卫子夫的姐姐）和他的儿子公孙敬声遭诬告被捕后死于狱中，汉武帝还下令将公孙氏一门灭族。同时受此案牵连被诛杀的还有阳石公主、诸邑公主以及卫青之子卫伉等人。此事过后，卫氏家族在朝中势力损失殆尽。皇后卫子夫、太子刘据都因此感到惶惶不可终日。
