《明史》记载："辉祖，初名允恭，长八尺五寸，有才气，以勋卫署左军都督府事。达薨，嗣爵。"原来，徐辉祖是明朝开国名将徐达的长子，高大威猛一表人才，在徐达去世后继承爵位。怪不得徐辉祖不畏惧朱棣，如此强大的背景，有恃无恐无可厚非，就连朱元璋都要给徐达几分面子，何况是朱棣。
另外，徐辉祖还是朱棣的小舅子，姐姐是朱棣的原配妻子，也就是之后的仁孝文皇后。徐辉祖作为臣子，始终站在建文帝朱允炆这边，没有因亲戚关系对姐夫朱棣手软过，史书云："命帅师援山东，败燕兵于齐眉山。燕人大惧。俄被诏还，诸将势孤，遂相次败绩。及燕兵渡江，辉祖犹引兵力战。"
意思是说，徐辉祖曾大败朱棣的军队，令朱棣十分忌惮，直至朱棣兵临城下，他依旧没有放弃，却由于敌众我寡，未能力挽狂澜。《明史》："成祖入京师，辉祖独守父祠弗迎。于是下吏命供罪状，惟书其父开国勋及券中免死语。"朱棣入城后，徐辉祖根本不把他当回事，也不愿意承认姐夫即将称帝之事，独自跪在父亲徐达的祠堂，满怀内疚，认为自己没有替建文帝打败朱棣。
朱棣派人把徐辉祖抓进大牢，亲自前来探望，目的非常明显，希望小舅子能认可他，进而归顺。不难猜测，只要徐辉祖服软，以他的家世背景，加上姐姐美言几句，荣华富贵唾手可得。但是，徐辉祖以"忠臣不事二主"为座右铭，根本不搭理朱棣的询问，刑部大臣准备逼他认罪，但徐辉祖拿出太祖朱元璋赐的免死铁券，无人敢对他用刑。
朱棣无计可施，既不敢杀徐辉祖，也不能将他无罪释放，只要削去他的爵位，把他囚禁在家中，除此之外别无选择。永乐五年，徐辉祖去世，毕竟他是徐皇后的亲弟弟，名将徐达的亲儿子，朱棣颁布一道圣旨："朕念中山王有大功，曲赦之。今辉祖死，中山王不可无后，命辉祖长子钦嗣。"万历年间，在南京设庙祭祀建文忠臣，徐辉祖排第一，并追赠太师，应验了"正义也许会迟到，但绝不会缺席"的道理。
