这就在这一年秋季，冒顿单于亲率10万铁骑南下，进攻今山西地区。奉命镇守该地区的韩王信在抗击匈奴的战斗中，败多胜少，其都城马邑（今山西朔州市）遭到重围。韩王信只得多次派使者与匈奴谈判求和。
此举却遭到刘邦的猜疑，以为韩王信与匈奴勾结，写信严厉责备韩王信。韩王信担心会因此被诛，干脆投降了匈奴，约定共同进攻汉朝。随后韩王信与匈奴挥师进入雁门关，攻打太原郡。
至此，刘邦终于忍无可忍，亲自率领32万大军迎击匈奴，同时镇压韩王信叛乱。汉军进抵太原后，连连取胜，先在铜辊（今山西沁县）告捷，使韩王信部遭到重创，其部下将领王喜被汉军斩杀，韩王信逃奔匈奴。汉军乘胜追击，在晋阳打败了韩王信与匈奴的联军，追至离石（今山西省吕梁市离石区），再次击败韩王信与匈奴的联军。匈奴再次在楼烦（今山西宁武）西北集结兵力，企图阻挡汉军北进，又被汉骑兵部队击溃。
汉军节节胜利，就产生了麻痹轻敌的思想。久经沙场的刘邦，对从未交过手的匈奴，一开始还是相当谨慎的。到达晋阳后，听说匈奴大军驻扎在代谷（今山西繁峙县至原平市一带），于是多次派遣使者前往与冒顿交涉，顺便打探虚实。
