在唐代的时候，玄宗李隆基醉心音律不理朝政，终于导致天宝十四年(755年)爆发安史之乱。自此宫廷乐师被冠以乐而忘忧之罪，全部贬为堕民，流放至浙江绍兴一带，世代以“度曲”为生。
而最广泛被人们认可的，是在明代朱元璋登基之后。刚刚打败元朝的朱元璋在中原还尚未站稳脚跟，一方面要担心内部动荡，另一方面还有着残存的蒙古族人虎视眈眈。于是他决定在全国范围内大力打击蒙古人，并全部贬为堕民。而在和金人对峙的时候，一名叫做焦光瓒的将领不战而降，这引得朱元璋勃然大怒，把他和部下全部贬为堕民，赐名“丐”籍，这也是“丐户”一词的来源。