然而中原的确的人认为他们是蛮夷，是亡国奴，所以他们地位非常低。起初称他们为"白水郎"，到了宋代，就将他们改称为"疍民"了。
明太祖朱元璋时期，胥民以"贱民"的身份被正式列入律法之中。在律法中规定，胥民不准与汉人结婚，不准参加科举。官方对其如此，民间当然不例外。甚至认为他们与娼妓、奴隶一般。
大那是自明朝之后，他们开始与陆地上的居民接触，逐渐被汉化，甚至语言也发生了改变。到了清朝，虽然不平等政策依旧没有发生改变，但是至少开始有部分人移居陆地，出现了"歇家"（上岸的胥民）这个词。
民国之后，对胥民的不平的政策被废除，胥民终于可以堂堂正正的做人了。许多胥民纷纷上岸，到了新中国成立后，政府还专门安排了胥民的上岸工作。如今，基本没有胥民仍停留在水上，即使仍有以胥民自居的人群，但是也都在水上居住，过上了一般人的生活。
