联军中，绿林军势力更强，本来，他的大哥首举义旗，功劳大、威望高，是做皇帝的第一人选。但是，绿林军将领自由散漫惯了，担心，如果他的大哥当了皇帝，他们肯定没好日子过，之后，便杀了大哥，以绝后患。虽然，刘秀之后立了大功，但是，哥哥被杀死了，自己也被剥夺了兵权。
后来，他抓住了一个就会逃脱了，但是，只有数十个人愿意跟着他。他们一行人一路逃难，直到后来他被信都太守接纳，并准备为其招兵买马。但是，在他们逃难过程中，自己都经常受冻挨饿，还怎么为别人提供温饱呢。就因为大家都知道他们一行人很是落魄，所以，并没有一个人愿意来应征，并且，还对征兵的人冷嘲热讽。
没有足够的军队，如何反击敌人呢？就在他苦恼之际，一个部下建议道，可以让士兵在攻下城池后自由抢劫财物，并且，以此作为军饷。但部下的建议让他感觉很为难，这种做法违背他的道德观，也不符合儒家思想，但是，在这样紧急的时候，他也没有更好的办法，只得同意了。就这样，他召到了一批军队，之后他又联合其他势力，一起打败了河北的主要军队，并在这个地方站住了阵脚。
