刘据这个太子，打破了汉武帝对继承人的所有美好想象，因此汉武帝对刘据本身就不是很满意。
不过早先有卫青和霍去病作为帮手，刘据的地位还算稳固。可是等到这两人去世以后，卫子夫也年老色衰了，汉武帝对刘据就越发不满了。
是时，上春秋高，疑左右皆为蛊祝诅，有与亡，莫敢讼其冤者。充既知上意，因言宫中有蛊气，先治后宫希幸夫人，以次及皇后，遂掘蛊于太子宫，得桐木人。太子惧，不能自明，收充，自临斩之。---《汉书》
这个时候再加上江充、苏文这帮人成天在汉武帝耳边念叨着刘据的坏处，汉武帝想要废掉刘据的心思，其实早就有了。
