倪瓒因为太爱干净和妻子关系淡薄，两人共有两个儿子，不是因为老大早夭黄泉，不然也不会有老二。根据记载倪瓒年轻时候也曾动过花心，召了一个年轻貌美的青楼女子前来欢愉，结果刚脱衣服就嫌弃人家脏，一整夜都在勒令对方洗澡，洗好这里洗那里，不知不觉天亮了，只好打发女人回去。
倪瓒的厕所更绝，仿照空中楼阁的式样，用香木做架子搭好，最下面是香土，上面是雪白的鹅毛，大便下落不但闻不到臭气，连看都看不到，只见鹅毛飞舞非常雅致。蹲的地方还有丝绸包裹屁股，生怕有一点点溅起到身上。
明朝建立后，爱干净的倪瓒竟得罪了明太祖朱元璋：倪瓒家在无锡一带，此地古来富庶。明太祖为了减少贫富差距，想出了一个类似"插队"的招，让江南地区的百姓迁徙到苏北去、安徽去。倪瓒被安排到朱元璋的老家凤阳，那里生活艰苦，吃的喝的都不如江南精致，卫生条件也差，更主要的是没有太湖水可以尽情洗刷刷.....倪瓒认为朱元璋此举非常不合理，不久后就逃回无锡老家，接着又被告发到朱元璋面前。
