夏代开始中国北方的游牧民族以零散部落的形式存在，这些部落不断骚扰中原边境，抢掠人、财、物，中原王朝也不断予以打击。秦始皇时，蒙恬率30万大军占领河套地区，把匈奴驱赶到阴山以北，并在河套屯兵，修长城、直道，防止匈奴南下，那时的匈奴还是分散的小部落，不能发动对中原王朝的大规模侵扰。
秦末汉初时，匈奴出了个应该是匈奴历史上最为厉害的冒顿（mo du）单（chan）于，他统一匈奴各部，在中国北方建立了一个强大的匈奴帝国，雄踞蒙古草原南北，把河套地区也抢了回去，乘中国在楚汉战争期间，占据中国北方领土。
刘邦建立西汉，封韩王信（不是淮阴侯韩信，是另一个韩信）到山西去抵御匈奴，有一次刘邦怀疑韩王信勾结匈奴，就去信责备他，韩王信害怕刘邦惩罚，就真的勾结匈奴，约定一起发兵南下攻打汉朝，刘邦知道后，集结32万大军征战匈奴，顺便镇压韩王信。
很快汉军击败韩王信，韩王信逃往匈奴，纠结残部和匈奴组成联军，汉军连战连捷，打到山西大同附近一个叫白登山的地方，刘邦、灌婴、夏侯婴率的骑兵被匈奴包围，围了七天，后来贿赂单于阏氏（yan zhi 匈奴王后）后单于把包围打开一个缺口放刘邦大军出去。
