此后，从汉文帝到汉武帝，匈奴连年入寇，总计掠走数十万百姓，而他们的命运自然是沦为奴隶。
当然，汉朝人不是唯一的受害者，周边的民族也同样饱受匈奴的屠害。乌桓，是东胡人的一支，他们曾被匈奴人所征服。从此以后，乌桓人饱受匈奴的奴役，不仅要随匈奴出战，而且每年必须提供巨额的皮毛税。若乌桓人不上交皮毛，匈奴人便会掠走乌桓的妇女和孩童，让他们作为自己的奴隶。
在西域地区，匈奴人俨然是西域三十六国的太上皇。匈奴人以强大的兵力威胁西域人民向他们纳贡。同时，匈奴还专门设立了"僮仆都尉"。所谓"僮仆"，就是奴隶的意思。僮仆都尉不仅负责逼迫西域各国交税，还会强迫他们输送奴隶到匈奴。
