建武二十二年(46年)，单于舆死，子左贤王乌达鞮侯继立，不久亦死，弟左贤王蒲奴继位。其时匈奴因连年旱蝗成灾，赤地千里，草木尽枯，饥疫流行，人民牲畜大批死亡。蒲奴单于害怕汉乘其疲敝之时袭击，于是遣使至渔阳郡(治今北京密云西)请求和亲，试图缓和与汉的紧张关系，光武帝也遣中郎将李茂回报。乌桓见匈奴势衰，不愿再依服匈奴，于是出兵攻击匈奴，蒲奴单于不敌，率部众向北迁徙，对漠南实际上失去了控制。统率漠南的右奥鞬日逐王比见继单于之位无望，愈益愤恨，于是在建武二十三年(47年)密遣汉人郭衡奉匈奴地图至西河太守处请求内附。监护比部兵的两骨都侯发觉比有异志，遂于赴五月龙庭大会时密报单于，建议诛比。不意消息走露，比集合八部四五万人自卫，蒲奴单于发万骑攻之，见比兵力强盛，不敢进兵而还，双方关系彻底决裂。
建武二十四年(48年)正月，漠南八部大人共议立比为呼韩邪单于。以比祖父呼韩邪单于附汉得安，故而沿袭其号，以示与汉和好之意。比亲至五原塞外，表示要"永为蕃蔽，捍御北虏(指北匈奴)。"自东汉初年以来，匈奴连年入侵，朝廷穷于应付，耗费甚巨；而今匈奴分裂，南匈奴自愿为汉保卫边塞，于汉无疑是有利之举。当时朝内一些大臣不相信南匈奴附汉的诚意，坚持利用匈奴分裂之机出兵攻灭匈奴，光武帝为安境息民，决不允许挑起战端，于是采纳五官中郎将耿国的建议，应允了南匈奴通好的请求，从而确定下扶持南匈奴，抗击北匈奴的基本策略。事后汉匈关系的发展进程，证明了光武帝这一决策是正确的。
同年冬十月，在东汉政府的支持下，比自立为呼韩邪单于，即醢落尸逐鞮单于。从此，匈奴正式分为南北二部。由于南单于归附汉朝，北境再无侵扰之患；位于匈奴东北的乌桓、鲜卑，过去常追随匈奴入塞侵扰，见南匈奴附汉后，也遣使至洛阳朝贡，北境愈加平静。第二年春正月，南单于比为了扩展势力，同时也为争取朝廷更有力的支持，遣其弟左贤王莫率兵攻击北匈奴，大获全胜，俘掳万余人，马七千多匹。北单于蒲奴为避南匈奴兵锋，退却近千里。三月，南单于遣使至洛阳，请求朝廷派使者监护，愿遣侍子入朝，复修呼韩邪单于故约。建武二十六年(50年)春，光武帝遣中郎将段彬等使南匈奴，于五原(治今内蒙包头西)西部塞设南单于庭，始置"使匈奴中郎将"，率兵护卫南单于。同年秋天，南单于比遣子入侍，光武帝依诸侯王之制，授南单于比黄金质玺绶，另赐衣裳、冠带、车马、黄金、锦绣、缯布等财物珍宝，又从河东郡转输粮食二万五千多斛，牛羊三万六千多头赈济南匈奴部众。不久，因南单于与北匈奴交战不利，光武帝命将南单于庭徙至西河郡美稷(今内蒙准格尔西北)，设置官府，命中郎将段彬等驻居西河郡，由西河长史率二千骑兵、弛刑(被赦免的囚徒)五百人，协助段彬等护卫南单于。随着北境战事的停止，东汉政府将以前因战乱内徙的边民迁回故地；同时，为了使南匈奴担负起护卫北境的任务，光武帝允许北地、朔方、五原、云中、定襄、雁门、代郡、上谷等八郡由南匈奴部众放牧居住，南匈奴诸部王也率领其部众协助诸郡县戍守，侦察北匈奴动静。嗣后，东汉政府几乎每年都要给予南匈奴巨大的财政支持。据袁宏《后汉纪?和帝纪》记载，用于南匈奴的费用每年竟高达钱一亿九千万之巨。
在东汉政府的全力支持下，南单于的统治趋于稳定，势力不断增强。在这种形势下，北单于十分惶恐，归还了一些以往被掠的汉民，以通善意；发兵击南匈奴时，骑兵每经过汉边塞亭障，总是声称是追击亡虏右奥鞬日逐王(指南单于比)，决非敢侵犯汉民。确实，此时在漠北的北匈奴处境十分困难，南匈奴的自立不仅使其丧失了漠南一大片水草丰润的土地，经济上陷入窘境，势力大衰，而且还时常受到北面丁令、东面乌桓、鲜卑、南面南匈奴的夹击，迫使北匈奴的势力逐渐向西部转移，以加强对西域诸国的控制。为了摆脱困境，北匈奴于建武二十七年(51年)首次遣使至武威郡请求和亲。光武帝命群臣廷议，一时争论不休，皇太子(即明帝刘庄)认为南匈奴新附，如接纳北匈奴，恐南匈奴生疑，反生事端。光武帝采纳太子之议，命令武威太守拒绝其使。其后，建武二十八年、三十一年，北匈奴二次遣使入朝贡献，复请和亲，要求与汉互市。光武帝考虑到与南匈奴的友好关系，只是颇加赏赐，善言回报，不遣使者，拒议和亲与互市之事。
明帝即位之后，北匈奴因和亲与互市不成，发兵攻掠边塞，均被南匈奴与汉军击退。永平七年(64年)，北匈奴似乎对和亲之事已经绝望，所以遣使入汉后，仅请求与汉互市。明帝不希望因拒绝互市而重起边衅，于是遣使回报，允许互市交易。互市虽然对匈奴与汉民均有益处，但汉与北匈奴通使，引起了南匈奴上层一些人的猜疑，须卜骨都侯等人准备借机叛乱，于是暗中与北匈奴联络，请求北匈奴出兵援助。这一图谋被朝廷及时发觉，于是在永平八年设置"度辽营"，以中郎将吴棠行度辽将军事，将兵屯于南单于庭西北的曼柏(今内蒙东胜东北)，又调骑都尉秦彭将兵屯南单于庭，以防须卜骨都侯的叛众与北匈奴交通。同年秋天，北匈奴果然发兵二千骑，携带马革船，准备从朔方渡过黄河迎须卜骨都侯的叛众，因见汉军防范严密，无隙可乘，失望而归。迎叛不成，北匈奴单于蒲奴恼羞成怒，屡次发兵大肆攻掠诸边郡，焚烧城邑，杀掠吏民，河西郡县城门连白天也得紧闭设防。
