"洪武时，苏州富民沈秀者助筑都城三分之一，请稿军，帝忍曰：匹夫稿天下之军乱民也，宜诛之。后谏曰：不祥之民，天将诛之，陛下何诛焉！乃释秀，戌云南。"
可以看得出，即使沈万三出钱出力，甚至建南京城墙，朱元璋都不买账，洪武六年（公元1373年），最终把他充军贵州。
第二次打击：子孙坐牢。
《周庄镇志》记载："兄至以户役故，缧赴秋官时伯熙亦获戾京师，适与兄同系狱"
洪武十九年（公元1386年），朱元璋命人把沈万三的儿子沈旺，两个孙子沈至、沈庄逮捕入狱，打入南京大牢，就把沈万三的直系子孙消除，动摇了沈家的基础。
