在各种史料当中，徐达的妻妾共有四人，其中，首先是徐达的原配妻子，她被史书称为"张氏"。张氏去世后，朱元璋做主为他娶了第二任妻子谢氏，不过后来谢氏因为性格狂妄而善妒引起了朱元璋的嫌恶，于是她被以言行不端的理由诛杀。在徐达的儿子徐膺绪、曾孙徐显隆墓志铭中，有着对他们生母孙氏的提及、《明实录》则还记载有一位贾氏，可见徐达应当是至少有着四位夫人的。
尽管许多史料都称是谢氏为徐达生下四子四女，但根据物证，显然其他夫人也各自为徐达育有后代。总之，徐达与至少四位夫人共生下了八个后代，这是已确认的事实。那么，我们首先便来看看其长子徐辉祖。徐辉祖的名字乃是朱元璋亲赐，由此也可以看出朱元璋与徐达有着十分良好的关系。
据《明史》记载，徐辉祖"长八尺五寸，有才气"，可以说是继承了父亲的英武。洪武二十一年（1388），徐达在为病逝的父亲守孝三年后承袭了其魏国公的爵位，并在第二年被派往常德府训练士兵。这之后，徐辉祖辗转陕西、浙江等地，防备可能发生的边患。
