由于众人的溺爱，再加上刘裕不是忙着打仗就是生病，刘义符一直缺乏管教，因此就长残了。他登上皇位之后，整体沉迷于玩乐，不理政事。因此刘义符当皇帝才一年，辅政大臣们就开始商量着将这个皇帝废掉，换个听话的。
在景平二年的时候，他们实施的行动，夜里领兵杀入宫中。当时的刘义符还在睡觉，就突然被绑了起来，然后没收了玉玺。被废掉了还不算，不久之后，辅政大臣们又将刘义符给杀了，同时杀了刘裕次子刘义真，立了刘义符的三弟刘义隆为皇帝，是为宋文帝。
最终为了保护刘宋王朝，也为了保住自身利益，四大辅臣协商之后决定废除宋少帝，拥立新帝。按次序王位应该属于刘裕第二子刘义真，可是刘义真同样"无德业"。于是顾命大臣干脆把刘义符和刘义真这两位皇子都杀了，扶持刘裕第三子刘义隆上位，即宋文帝。可以说刘裕的托孤算是史上最失败托孤案例，作为千古一帝的他刚死，四大辅臣转身把小皇帝废杀！幸好继位的宋文帝刘义隆继续实行刘裕的治国方略，休养生息开创了"元嘉之治"，使刘宋王朝成为东晋南北朝国力最为强盛的历史时期。
