要知道朱元璋修明城墙，方园几十公里，当时负责烧城墙砖的就动员了180多个县的人力物力。但是，沈万三他们家一家完成明城墙三分之一的工程量和物料，材料。随之，他竟又向朱元璋提出，打算以自己的百万两黄金，代替皇帝犒赏三军。朱元璋很不服气的说，我有百万大军，你有多少钱可以赏赐?沈万三淡定的回答，我先每人一两金，按照市价，那么每个人就是2万块，100万军队，最少也要200亿啊!这在沈万三看来还是不足道哉的。想想这到底有多少钱?这终于让明太祖龙颜大怒。于是他被籍没家产，发配充军云南边陲。至今，苏南、浙北、安徽一带仍广泛流传着关于沈万三的发财、豪奢、田产、经商以及家庭生活诸方面的许多故事、传说。
沈万三之弟名沈贵，字仲华，又号"沈万四"。沈贵二子：长沈德昌;次沈汉杰，生於延祐七年，卒於洪武四年。沈万三至少有三个儿子，除了《吴江县志》提到的"二子茂、旺"之外，还有一个儿子叫作沈荣，沈荣又有个儿子叫沈森。据说，沈万三被发配云南的时候，大儿子被处死。
安顺市平坝县屯堡地区，是南京遗民的聚集地。根据史料记载，洪武二年(公元1369年)，大将汤和、沐英等率领20万大军南下至此，最后屯兵定居。在此遗留了为数众多的小屯镇。沈万三的后裔会不会就在这里呢?
