由于其性情太过温顺，当汉武帝滥用刑法时，他经常为他们平反，而汉武帝虽然表面上对此非常认同，但是其背地里却十分不喜欢刘据，而刘据的这种行为，也让众臣子感到不愉快，但由于刘据并没有做坏事，因此汉武帝没有什么理由将其无端废除。
另一方面，刘据有卫氏家族的人为其撑腰，虽然当时卫青已经去世，但是其在位期间，在朝中结交了众多好友，而这些人念在卫青的面子上，对刘据是非常支持的。
同时卫青的大姐夫公孙贺在朝中担任宰相一职。所以基于这两方面原因，汉武帝没有立刻将刘据的太子之位废除。
但事情的转机是在公孙贺的儿子公孙敬声因贪污被人举报，汉武帝对此十分动怒，而公孙贺为了救儿子，主动申请去将朝廷重犯朱安世捉拿，最后竟然成功了。但是当朱世安被关在监狱时，污蔑公孙敬声与汉武帝的女儿阳石公主私自交好，汉武帝大怒，随即就将公孙氏全家满门抄斩，之后又将朱邑公主和阳石公主双双用蛊术处死。而卫青的儿子以及汉武帝与卫子夫的儿子都处死，所以此时只剩下了刘据。
