湖阳的守将得知后勃然大怒，准备杀死樊宏的家人作为报复。幸好樊家在当地颇有威望，而且"礼义恩德行于乡里"，城内百姓和官吏都纷纷为樊家求情，守将担心杀害樊家人会惹起众怒，这才罢手。不久后，义军攻陷湖阳，樊宏才与家人团聚。
拒绝为官，结寨自保
此后，樊宏离开家乡加入了义军，一起冲锋陷阵，反抗王莽的统治。后来，义军拥立了更始帝刘玄，希望复兴汉室。然而，更始帝刘玄却对战功卓著的刘縯、刘秀兄弟十分忌惮，最终设法杀害了刘縯。樊宏对刘玄的做法感到寒心，开始萌生退意。
不久后，刘玄召见樊宏，打算任用他为将军。樊宏推辞了任命，认为自己是"书生不习兵事"，请刘玄另请高明。最终，樊宏被免职脱离了义军，回到了家乡。此时，天下仍然战乱频仍，樊宏清醒地认识到家乡也很有可能受到战火侵扰，要提前做好准备。
