而在浙江绍兴一代，就存在着这么一群社会地位最为低下的人们，他们被排除在“士农工商”之外，有着非常多不公平的待遇。他们被称为“堕民”，也称为“丐户”、“怯邻户”，是被各种原因削减地位直到平民之下的所谓的“贱民”，可对于堕民是如何产生的，在历史上却又众说纷纭。
最早在《越言释·惰贫》中记载道，越王勾践把“寡妇淫泆者，则皆输山上，壮士忧愁者，令游山下”，而这些人的后代就被称为“堕民”。到了秦末的时候，公元前202年项羽兵败垓下，在项王自刎后余部固守不认输，刘邦因此被感动，便饶了他们一命。但又担忧养虎为患，于是把这群人全部贬为了堕民。