就在刘玄犹豫不决的时候，好友冯异给刘秀出了一条锦囊妙计，冯异劝刘秀，一定要想办法巴结左丞相曹竟，刘秀听从了冯异的建议。果然，公元23年十月，更始帝刘玄遣刘秀行大司马事北渡黄河，镇慰河北州郡。路上，刘秀的挚交邓禹追上刘秀，并建议他趁乱自己当皇帝算了。邓禹的话正合刘秀的心意，刘秀到河北后不久，前西汉赵缪王之子刘林即拥戴一个叫做王郎的人在邯郸称帝，而前西汉在河北的另一王室、广阳王之子刘接也起兵响应刘林。刘秀虽然刚来河北不久，但是也得到了上谷、渔阳两郡的支持，尤其是上谷太守耿况的儿子耿弇，他很爽快地对刘秀说："渔阳、上谷的突骑足有万骑，把这两个郡的兵马集中起来，邯郸根本不足虑。"不久更始帝派尚书令谢躬和真定王刘杨一起协助刘秀攻破了邯郸，击杀了王郎等人。
虽然远离了政治中心，但这正好给了刘秀一个锻炼的机会。他在河北认真考察官吏，按其能力的高低分配财富的多少；平反冤狱，释放囚徒；废除王莽苛政，恢复汉朝的官衔。刘秀深受官民欢迎，甚至竟相持酒慰劳。在河北期间，刘秀还粉碎了一起假冒汉成帝之子另立朝廷的反叛事件，其中就有在邯郸称帝的王郎。刘秀在清理缴获的资料时，发现了很多官吏与王郎勾结一起诋毁自己的材料。要是按这些材料提供的线索加以追究，必然会有一大批人受牵连。于是刘秀把王郎的部属召集起来，当着他们的面一把大火将这些材料烧掉。并说，这样做是为了"令心怀不安的人放心"。
刘秀在河北逐渐发展起了自己的势力集团，更始帝见刘秀的影响越来越大，便派使节赶到河北，封刘秀为萧王，并命令刘秀放下手里的任务，与那些有功的将领一起到长安去，同时派尚书令谢躬接管了幽州的兵马，并监视刘秀的动向。刘秀明白更始帝的意图，于是他便以"河北未平"为理由，拒绝应诏去长安。不久，刘秀派吴汉斩杀谢躬，其兵马也收为己用，而更始帝派到河北的幽州牧（官名）苗曾与上谷等地的太守韦顺、蔡允等也被刘秀手下的吴汉、耿弇等人所收斩。自此，刘秀与更始政权决裂。
公元24年秋天，刘秀集中兵力，先后在馆陶等地击败并收编了铜马、高湖、重连等地的农民起义军，大大加强了自己的军事实力。至此，河北一带大致平定。
