檀道济不但自己在南朝宋高祖和宋文帝两代积累了许多战功，名气越来越大，几个儿子也都能独当一面、十分优秀，而且还有两个类似关羽、张飞的手下，和一帮忠心耿耿的亲信。宋文帝重病之际，担心檀道济功高震主，自己的儿子上位后，掌控不了他。于是，在其兄弟刘义康进言檀道济以后很可能会谋反之时，便顺水推舟，默认刘义康假传圣旨，招檀道济入朝逮捕，并将之杀害。随后又逮捕了檀道济的儿子和手下亲信，一一处死，波及范围之大，几乎灭了檀道济一族。
檀道济被南宋朝廷处死的消息传到北魏，魏军上下都击掌庆祝，直呼南朝宋再也没有什么让其害怕的了。不久，北魏便发兵南征，南朝宋从此一直处在北魏的阴影之下。有次，宋文帝甚至被北魏追到了镇江的北固山上，看着山下自由往来的魏兵，想起檀道济死前怒骂其"汝乃自毁长城"的话，不由得后悔起来，感叹"如果檀道济还活着，绝不会让魏军如此嚣张横行！"
