由于王莽的暴虐，天下战乱四起，刘縯也趁机在家乡舂陵起兵。而刘秀沉思了一会，也加入了起义队伍。听说刘縯造反，舂陵乡里子弟生怕受到牵连，纷纷奔走呼号："伯升（刘縯的字）杀我！"但听说刘秀也加入了起义队伍，大家却放心了："敦厚如刘秀都造反了，我们还等什么？"
为了扩大势力，刘縯与同在南阳地区活动的绿林军取得了联系，两者将建立了合作关系，共同反对王莽。在战争的一开始，刘秀甚至连匹马都没有，只能骑牛作战。但是光武帝却有天生的军事才能，他屡次击溃莽军，绿林军的声势越来越大。
由于舂陵军与旧绿林军实力相当，曾互不统属。因此，新兴的绿林军决定选一位领导者。如果按照威望和血统来说，刘縯无疑是首领的最佳人选。但是旧绿林军领袖--王凤、王匡等人为了自己的利益，将懦弱的刘玄立为天子，是为更始帝。而刘玄正是刘縯与刘秀的族兄。
刘玄即位时，连一丝一毫的王者之气都没有，甚至连勉励大家的话都说不出来。而实际上，绿林军诸将就是要这种效果。他们原本就不希望有一个强势的领导人。
