除了岳飞外，中兴四将其余三人的经历大抵如此，随着招降纳叛的进程逐渐加快，一支支亦官亦匪的南宋军队开始形成。而中兴四将，也是在此时开始逐渐掌握属于自己的军事力量。
不过，由于军队成分的原因，这一时期的南宋诸将，所率领的部队中，曾经身为盗匪的军人占据了很大一部分成分，对于这种状态，南宋时期的官员们也有着极大的担忧：“今兵势稍振，然所试亦不过锄平寇盗群饥乌合之众而已。”
而更令赵高宗忌惮和忧心的还有另一件事，在整编军队时，刚刚建立尚未得到巩固的南宋朝廷，并无财力对这些兵将进行粮饷上的补给，但由于金人随时南下的可能，赵构不得不暗示诸路大军“便宜行事”，于是在南宋初年，北宋末期将领经商的事态再次重演，如刘光世，就曾经派遣八千士兵专门负责“回易”一事，虽然将领经商之事看上去不伦不类，但客观来讲却在当时的混乱情况下为南宋抵御金兵入寇提供了坚实的经济基础。
然而，这种经济上的独立性却极为类似汉末与残唐时期军阀割据可能，虽然在当时并无公然与朝廷对峙的地方武将势力存在，但对于赵括而言，这种完全不依赖中央的地方势力，也成为了他最不能容忍的心腹之患。
三、难以节制的军队，频频爆发的兵变
为了节制由地方将领通过招降纳叛所建立和招揽的军队，宋廷也曾经做出一些努力。
通过将这些武装力量全部纳入南宋官方的大元帅府内，宋廷起码在制度层面上获得了可以继续节制和调配军队的权利。然而，这种制度节制虽然在一定程度上取得了一些效果，但由于成军过程中的历史原因影响，这些军队的自主性依旧极大，以刘光世、张俊、韩世忠、王燮、辛企宗、杜充等将领为首的南宋诸将，皆有过不听朝廷号令的事迹。
这些并非中央统管的军队，对于朝廷号令的遵循，往往大打折扣，比如曾经被授予节制地方诸将权柄的杜充，就曾经多次遭地方将领杯葛：“时江东宣抚使刘光世，江浙制置使韩世忠，各持重兵，畏杜充严峻，论说纷纷，光世见诸军江州，乞不受充节制。”
即使是在后世被屡屡称颂的中兴大将韩世忠、刘光世，也曾经因跋扈而不听其节制，可见在这一阶段，朝廷对于地方军队实际掌控能力之衰弱。甚至有学者认为，在金兵南下渡江之后的建康保卫战中，正是因为刘光世、韩世忠、王燮所部不听统一号令，东京留守司才会独木难支，惨败而归。
