刘义符由于一直无人管教，本来就不是很擅长处理国事。当了皇帝之后也还是这样，国事全部都不会处理。而且还是每天吃喝玩乐，什么都不管。群臣进谏、军国大事一概不问。这时候这些托孤大臣不干了。424年6月，文武将官徐羡之、檀道济等人带兵杀入，将酣睡中的刘义符带到岸上，收取了他的印玺，以萧太后的名义废其为营阳王。立刘裕三子刘义隆为帝。这时候才仅仅一年多的时间，这些托孤大臣就把皇帝给废了，废了之后的皇帝可是非常危险的。没几天就被杀了。可以说刘裕英雄一世，没想到在托孤的时候看走眼了。
其实说真的，这些托孤大臣做的确实不厚道。人家只是不问国事，又不是乱来了。既然皇帝不闻不问，这些大臣可以自行处理。比如康熙刚即位时期的四大辅臣都是这样的。没必要因为人家不干活就把人杀了。而且他本来就不会，你们可以慢慢教，还没教就把人杀了，有点过分。可以说这是史上最失败的托孤了。
