朱允炆继位后，加封徐辉祖为太子太傅。朱棣起兵之前，他的儿子朱高煦被留在南京，朱高煦偷了徐辉祖的马逃跑，徐辉祖马上派人去追，但没追上，建文帝听了这件事情，就把徐辉祖当作亲信。
后来，建文帝派徐辉祖支援山东，并在齐眉山把燕王的军队给打败了，以至于燕王的军队都很怕徐辉祖。但建文帝手下的大臣还是猜忌徐辉祖，不久就召回徐辉祖，其他将领失去支援，打了败仗。
朱棣攻入南京之后，只有徐辉祖一个人死守着父亲徐达的祠堂不去迎接朱棣。朱棣得知后，非常的生气，就将他抓来审问，要治他的罪。面对逼供，徐辉祖一言不发，最后写下八个字：开国功臣，子孙免死。
朱棣看了八个字后，最终没杀他，而是废除他的爵位和俸禄，让他回到老家闭门反思。永乐五年，徐辉祖病逝。他死后一个多月，朱棣以"中山王不可无后"为由，由其长子徐钦继承魏国公。
徐辉祖敢于公开藐视朱棣，朱棣却饶了他一命，有人说是因为他的父亲徐达为朱元璋立下了不可磨灭的功劳，朱元璋赐给了他的家族免死券，也有人说是因为徐辉祖姐姐的原因，他的姐姐徐仪华是朱棣的皇后，看在皇后的面子上，所以朱棣虽然生气，但还是决定不杀他。
