这时，朝廷讹传燕军已败，京师不可无良将，于是召回了徐辉祖，淮北的中央军因此势孤而大败 。燕兵渡过长江打南京时，徐辉祖却还在带兵抵抗 。
朱棣入京后，徐辉祖留在父亲的祠堂，不肯迎接朱棣，被关进监狱 。朱棣亲自召见询问，徐辉祖一言不发，拒绝拥戴。朱棣大怒，想要诛杀他，却又因徐皇后的原因而不便杀他，不久，革去其俸禄和爵位 ，将其禁锢在家中。
永乐五年，徐辉祖去世。徐辉祖死后一个多月，朱棣以"中山王不可无后"为理由，由其长子徐钦继承了魏国公的爵位 ，他这一系明朝灭亡后投降了清朝。
明神宗时，朝廷追录建文帝时的忠臣，在南京设庙祭祀，以徐辉祖居首，后来，又被追赠太师，谥为忠贞 。
