建文元年（1399年）正月，建文帝下诏修《太祖高皇帝实录》，命徐辉祖为监修 。四月，将逢太祖忌日，朱棣派三子朱高炽、朱高煦、朱高燧入京。等三人到了南京，大臣齐泰请求建文帝把他们一并留下，黄子澄说："不可以。怀疑他而作此准备，是有害的，不如把他们全部遣返。"徐辉祖此时秘密奏报说："我的三个外甥中，只有朱高煦勇猛剽悍而且无赖。他不但不忠于陛下，也会背叛他的父亲，他日一定会成为大患。"建文帝询问徐辉祖的弟弟徐增寿和驸马王宁的意见，二人加以包庇，于是将三人遣返归国 。朱高煦偷了徐辉祖的马逃跑。徐辉祖派人去抓，没有追上，建文帝听说了，就把他当做亲信 。
此后不久，朱棣发动靖难之役。在战役期间，朱高煦作为燕军主将出力甚多，建文帝说："我后悔不用徐辉祖的建议！"
建文三年（1401年）四月，建文帝担心南军主帅李景隆轻敌，于是命徐辉祖率领三万京军驰援。同月，南军在白沟河之战中惨败，损失十数万，李景隆等溃逃至德州。徐辉祖率军殿后，掩护李景隆等撤回，全师而还。
建文四年（1402年）正月，朝廷命徐辉祖带兵北上 。四月，与燕军大战于宿州灵壁县西南三十里的齐眉山，南军获胜，斩杀燕军骁将、蔚州卫千户李斌等。南军再次获得胜利，再加上暑热，燕军陷入窘境。
这时，朝廷讹传燕军已兵败，京师不可无良将，遂召回徐辉祖（一说是有人进谗称徐辉祖因燕王是至亲之故而未尽力作战 ）。淮北的何福、平安等中央军因此势孤而大败。
