可是霍去病和卫青都相继过世了，卫青的几个儿子也都被罢免了侯爵的爵位，刘据一眨眼的功夫，从天堂掉入了地狱。
老父亲汉武帝的身体还非常不错，这继位的时间遥遥无期，所以刘据的太子之位其实非常不稳。尤其是汉武帝在重用昌邑王的舅舅李广利以后，另一个卫氏家族似乎又要崛起了，这对刘据来说，是巨大的威胁。
充见上年老，恐晏驾后为太子所诛，因是为奸，奏言上疾祟在巫蛊。于是上以充为使者治巫蛊。充将胡巫掘地求偶人，捕蛊及夜祠，视鬼，染污令有处，辄收捕验治，烧铁钳灼，强服之。民转相诬以巫蛊，吏辄劾以大逆亡道，坐而死者前后数万人。---《汉书》
这个时候的刘据，其实没有任何实力去跟江充斗。江充正是得宠的时候，他有汉武帝给他撑腰，就连刘据都不敢惹。这也是江充为什么敢得罪刘据的重要原因。
