徐羡之是刘裕临终前选定的首席顾命大臣，内心压力巨大。徐羡之"无术学，直以志力局度"，处事刚猛决断，难免为人所嫉恨，而徐羡之又功高盖主："一旦居廊庙，朝野推服，咸谓有宰臣之望"。(《宋书徐羡之传》)如果徐是诸葛亮一流人物，当然不怕这些，问题是他不是诸葛亮，刘义符又一贯不按常规套路出牌，徐羡之担心时间长了，少主亲了政，不知何时一不高兴，自己的脑袋就会搬了家。
景平元年(423年)，魏兵犯境，宋军失利，司、兖、豫诸郡县俱为魏有，毛德祖、汤瓒等将领被擒捐躯殉难。丧良将，失膏腴，刘宋遭遇战争重创，国人震惊恐慌，徐羡之、谢晦、傅亮三人作为顾命大臣，自知罪责深重，于是"以亡失境土，上表自劾"，请刘义符处置发落，而刘义符却来了个"诏勿问"(《资治通鉴》)，既不追究，也不干预。当时，刘义符玩兴正酣，没心思对如此重大事件过问追责;若一旦秋后算账，必拿徐羡之等三人是问。
共同的"惧祸"情结，促使徐羡之、谢晦、傅亮三人联手密谋废黜刘义符。按礼制要求，刘义符当为刘裕守孝三年，故徐羡之等人没有归政。到了景平二年(424年)四月，距离归政时限越来越近，于是"徐羡之等以南兗州刺史檀道济先朝旧将，威服殿省，且有兵众，乃召道济及江州刺史王弘入朝;五月，皆至建康，废立之谋告之"(《资治通鉴》)，
景平二年（424年5月），天气十分酷热，刘义符到宫中华林园（今南京鸡鸣寺一带）避暑。当时，刘义符在皇家华林园造了一排商店，自己小衣巾，短打扮，就是"汗衫短裤"，亲自买入卖出，讨价还价。又跟左右佞臣一起，划船取乐，尽兴玩乐了一天。傍晚时分，又乘坐龙舟来到天渊池开心，笙歌妙舞，管弦悠扬，好不惬意，直到月落参横，又去吃了宵夜，喝了不少酒，实在抗不住了，才在龙舟上睡觉。
