地皇三年（22），刘秀见百姓们纷纷不满王莽的统治，便抓住时机在宛城起兵，因为兴起于舂陵乡，他的部队又被叫做''舂陵军''。
最初，因为军资匮乏，作为领袖的刘秀不得不骑着牛上战场，可见其处境是非常窘迫的。即使在缺兵少粮的情况下，刘秀依然带领士兵们攻城略地，在出现战利品分配不均问题时，刘秀展现出了统帅风度，他''敛宗人所得物，悉以与之，众乃悦。''
为了增强实力，刘秀投靠了声势浩大的绿林军，在取得许多战功后，他被绿林军的名义领袖更始帝刘玄封为了太常偏将军。
见绿林军复辟了汉朝，不少民众都给予响应，王莽实在坐不住了，他派出自己的从弟王邑率领四十万大军前去讨伐。五月，王邑从洛阳南下，而率领九千人驻扎昆阳的刘秀首当其冲，成为了其讨伐对象。
