匈奴单于说：“从前匈奴和汉朝本就互约为兄弟。只不过后来匈奴衰落，呼韩邪单于归附了汉朝，汉朝也因此派兵保护，匈奴世世代代向汉朝称臣。现如今汉朝衰落，刘氏宗族前来归附，我也应当拥立他，让他尊奉我。”
于是单于命句林王率领数千骑兵迎接了卢芳兄来弟到匈奴，卢芳等人来到了匈奴后，单于立卢芳为汉帝，并任命卢芳弟弟卢程为中郎将，让他们率领胡人的骑兵回到安定。
建武五年十二月，卢芳和五原人李兴一起进驻边塞，他们在九原县建都，还攻占五原、朔方、云中、定襄、雁门五郡，并设置了郡守、县令，之后卢芳和匈奴军队一起侵略北方的边境地区。但后来刘秀也派出大司马吴汉等人讨伐卢芳，虽然匈奴出兵击退了汉军，可是由于卢芳实力不济，再加上他手下将领也是众叛亲离，所以很快卢芳就又带着十余名骑兵逃回了匈奴地区。之后卢芳返回汉地居住，他还派去使者向刘秀投降，但此时的卢芳哪还有兵力再反扑中原，他所仰仗的不过是匈奴罢了，刘秀也深知这一点，于是他下旨任命卢芳为代王，还赏赐他缯帛二万匹，让他为朝廷安抚匈奴，建立友好关系。卢芳上书谢恩，并说自己想念朝廷。于是刘秀下诏回答卢芳，让他明年来朝觐见。同年冬天，卢芳出发入朝，当他行进到昌平县时。光武帝又下诏命他停止入朝，改为明年朝见。
在卢芳从昌平返回之后，他内心疑虑重重，担心自己性命安危，于是他再度反叛东汉 ，在交战数月之后。匈奴还派数百名骑兵迎回了卢芳及其妻儿，最终卢芳留在了匈奴十几年，直到后来病逝。
