从此时起，汉景帝便断定，栗夫人没有成为皇后甚至太后的资格。毕竟"吕后之祸"的殷鉴不远，一旦让栗夫人当权，其他妃子岂不也要沦为"人彘"，他的儿子岂不是也要步刘如意的后尘？从此时起，汉景帝已经下定废除刘荣太子之位的决心。
公元前150年，汉景帝身体有些不适。在王夫人看来，这正是陷害栗夫人的好机会。于是她施展以退为进的奇谋，唆使一位大臣上书汉景帝，要求将栗夫人立为皇后，以正名分。景帝听后大怒："这是你该说的话吗？！难道想咒我死吗？"
于是汉景帝处死了大臣，并废黜了刘荣，将之贬为临江王。仅仅两年后，汉景帝又指使酷吏郅都逼死了刘荣，算是除去了后患。据说刘荣下葬时，有数万只燕子衔土置于冢上，天下均认为刘荣死得太冤。
