刘玄因为要给弟弟刘骞报仇，结交豪杰游侠，被人举报犯法，只得四处藏匿。新莽地皇三年（22年），各地豪强或者平民反抗王莽逆行，纷纷聚兵自保，四处躲藏的刘玄投靠其中一支---平林兵首领陈牧，担任安集掾。
地皇四年（23年），绿林、新市、下江、平林各兵合于一处，统称绿林军，并击败王莽派来讨伐义军的军队。刘玄在此也立下功劳，获更始将军称号。
而舂陵宗族子弟，在首领刘縯、刘秀兄弟的带领下，建立舂陵兵，和绿林军联合作战，多次击败王莽军队，势头旺盛。于是联军准备推选皇帝，统一指挥，建立政权。
刘縯能力突出、深孚人望，又身为汉室宗亲，所以在统一后的义军中有很多人支持。但是因为刘縯太过于豪气张扬，绿林兵势力怕他成为皇帝后大权独揽，打压乃至清除绿林势力。于是在一番利益交换考虑后，出身舂陵宗族的刘玄因为个性懦弱、迂腐，没有大的野心，得到各方面的认可，被一致决定为皇帝人选。
刘玄为人胆小懦弱，又心胸狭隘，重用小人，嫉妒猜忌功劳赫赫的刘縯兄弟。在更始元年（23年）五月借口刘縯跋扈不听号令，将其设计杀害，使得拥戴他的舂陵子弟大失所望。刘秀则强忍悲伤，忍辱负重，返回宛城向更始帝谢罪，更始帝因此没有加害刘秀，加封刘秀为行大司马。
