檀道济因在前刘裕一朝立功，威信名望特别高，左右及心腹，都身经百战，几个儿子有才气，因而遭到朝廷的怀疑和忌惮。彭城王刘义康是宋文帝的异母弟，他曾提醒宋文帝：如果宋文帝驾崩，檀道济将不可控制，就像谢晦一样。宋文帝因此下诏书逮捕了檀道济和他的几个儿子。
檀道济被关押后，非常愤怒，目光如火炬燃烧，他脱下头巾掷在地上说："你们这是在毁坏宋国的万里长城！"北魏人听到这个消息后非常高兴，说道："檀道济一死，江东人就不足为虑了。"
檀道济死后，宋文帝又调动军队大肆进攻北魏，派王玄谟围攻滑台。北魏太武帝亲自率兵救援，兵众号称百万。王玄谟畏惧逃走，魏军乘胜追击，大败王玄谟。
北魏太武帝领兵南侵，所到之处全部残杀灭绝，郡县官吏都望风而逃。魏军进军到瓜步城，声称要渡过长江。建康城中十分惊恐，城中百姓都扛着扁担站立着准备出城。宋文帝登上石头城，面露忧色。感叹道；"倘若檀道济还活着，岂能让胡族兵马兵临城下？"
