常茂无后，常升之子常继祖被朱棣流放到云南河西四街(今通海四街镇)，直到常家第八代常玄振时，才被嘉靖皇帝再次封为世袭怀远侯。
崇祯末年，末代怀远侯常延龄多次上书愿率族丁数千北上救国，但都被拒绝。南明弘光帝时，常延龄目睹众臣不思国难，仍互相倾轧，争权夺利，失望之下，挂冠而去，隐居山林。
常遇春长女常氏，和徐达的女儿们一样，也被朱元璋下旨嫁给了自己的儿子，而且还是太子朱标，史称元妃。常氏为朱标生有两男两女，长子为虞怀王朱雄英，是朱元璋的皇长孙，可惜在洪武十五年（1882年）夭折；次子为吴王朱允熥，也正是因为生朱允熥，常氏难产而死。
