老父亲汉武帝的身体还非常不错，这继位的时间遥遥无期，所以刘据的太子之位其实非常不稳。尤其是汉武帝在重用昌邑王的舅舅李广利以后，另一个卫氏家族似乎又要崛起了，这对刘据来说，是巨大的威胁。
充见上年老，恐晏驾后为太子所诛，因是为奸，奏言上疾祟在巫蛊。于是上以充为使者治巫蛊。充将胡巫掘地求偶人，捕蛊及夜祠，视鬼，染污令有处，辄收捕验治，烧铁钳灼，强服之。民转相诬以巫蛊，吏辄劾以大逆亡道，坐而死者前后数万人。---《汉书》
这个时候的刘据，其实没有任何实力去跟江充斗。江充正是得宠的时候，他有汉武帝给他撑腰，就连刘据都不敢惹。这也是江充为什么敢得罪刘据的重要原因。
汉武帝对刘据其实也不满意。
汉武帝是个雄才大略的君主，这哥们纵横南北，打了不了解多少胜仗。因此整个人的气势都是咄咄逼人的。
在这种人身边工作，真的有一种伴君如伴虎的感觉。可是刘据跟汉武帝的性格却完全相反，因为刘据从小接受了大量儒家老师们的教育，而且没有打过仗，所以他的性格是偏文弱的。
这么一来汉武帝心里就很不爽了，他希望自己的继承人，应该跟自己一样，至少这样可以继承自己的丰功伟绩。
刘据这个太子，打破了汉武帝对继承人的所有美好想象，因此汉武帝对刘据本身就不是很满意。
不过早先有卫青和霍去病作为帮手，刘据的地位还算稳固。可是等到这两人去世以后，卫子夫也年老色衰了，汉武帝对刘据就越发不满了。
是时，上春秋高，疑左右皆为蛊祝诅，有与亡，莫敢讼其冤者。充既知上意，因言宫中有蛊气，先治后宫希幸夫人，以次及皇后，遂掘蛊于太子宫，得桐木人。太子惧，不能自明，收充，自临斩之。---《汉书》
这个时候再加上江充、苏文这帮人成天在汉武帝耳边念叨着刘据的坏处，汉武帝想要废掉刘据的心思，其实早就有了。
