刘裕死前，对即将接任的太子刘义符托孤给檀道济、谢晦等四位大臣，并且特意嘱咐太子要多亲近和倚靠檀道济。奈何刘义符继位后，整日就会嬉戏胡闹，完全不理朝政，终被大臣联合废掉。刘义符被废掉后，接任的宋文帝刘义隆没及时赶到，人心浮动之际，檀道济一马当先率兵进朝堂戍守，稳定了朝局。
文帝即位后论功行赏，檀道济以"只为不负高祖所托"为由，坚决推辞文帝加封其为武陵郡公。檀道济的不贪恋功劳，使其在宋文帝前期清算功臣夺回军权的时候，不但能躲过一劫，还被重用去平定谢晦的叛乱。
在宋文帝执政时期，檀道济时常领军在前线作战，他用兵如神和骁勇善战，所到之处，对手光听到他名字就有三分怯意。尤其是和北魏的数年交战下来，檀道济可谓是北魏的心头之患，其朝廷上下对他都颇为忌惮。
元嘉七年，北魏大举进攻南宋，占领了南宋很多领地，宋文帝派檀道济率军抵抗。檀道济率军跟魏军交战，二十多天里，就打了三十多仗，宋军节节胜利，一直追着魏军到了济南。由于连连胜仗，檀道济的手下有些松懈了，被魏军暗地突袭烧掉了粮草。
