▲韩世忠
事实上，直到绍兴二年（1132）之时，岳飞所部本军官兵不过一万二千余人，并且还需留下一部分保护随军家属，再刨除辎重部队及伙夫，能战之兵仅有数千人。因此，尽管岳飞在到达楚州以后与金军三战三捷，但依然不能改变楚州失守的未来。淮东局面也因楚州失守而失去控制，最终全面沦陷。岳飞独木难支，但即便是身负重伤的情况下依然亲自殿后，掩护数十万民众退至江南。所幸此前一度退让的张荣却是另有打算，于绍兴元年（1131）三月在兴化县成功击败金军，夺回淮南。
绍兴三年末，襄阳六郡之地陷于金军之手，长江防线出现缺口。岳飞于次年三月受命前往收复该地区，此时岳飞所部扩张到接近三万人，但即便加上朝廷划拨的其他力量，总计也不过三万五千人，兵力上仍旧处于劣势，但岳飞依然成功收复襄阳六郡。此时岳飞乘势再度上书，请求出兵直捣中原收复故土，但也再度遭到宋高宗拒绝。
