建文三年四月，他奉命参加白沟河之战，率军成功掩护李景隆撤退。建文四年正月，他带兵北上，与燕王的部队交战于齐眉山，结果大胜，斩燕将李斌。后来他再次取胜，将燕王部队打得士气低落。悲催的事情发生了，京城谣言称燕兵已败，朝中不能没有良将，所以在情势还不明朗的状态下，徐辉祖被抽调回京，结果剩下的军队不是燕王的对手，很快落败。最终朱棣取得了胜利。
朱棣入京后，徐辉祖留在父祠，不肯迎接朱棣，于是被打入大牢，司法部门逼迫他招供，徐辉祖只写下父亲是开国功臣，铁券中“子孙免死”的词而已，朱棣大怒想要杀掉最终没有下手，后来徐辉祖病故，燕王觉得他是条汉子，就让他的儿子继承他的爵位，对外公布的消息是，开国功臣徐达不能没后。明神宗时，朝廷录建文忠臣，在南京设庙祭祀，以他居首。后追赠太师，谥忠贞。
试想，如果朱允炆能自始至终的信任徐辉祖，一开始就把朱棣的阴谋扼杀在摇篮里，那么历史上绝对不会存在明成祖，而他的仁政就可以施行。可惜了徐辉祖，本是难得的将才，却没有充足的空间发展，最后郁郁而终。
