其实岳家军除了岳飞一位总头领外，还有很多大头领，他们都是岳飞的拜把子兄弟，如王贵，张显，汤怀，牛皋，杨再兴，等。他们常年跟随在岳飞左右，自然也都是身经百战。也都有着出色的带兵能力。岳飞死后，岳家军就暂由王贵带领。因为王贵从小便和岳飞一起长大，在岳家军中极有威望。虽然岳家军在他手下，不能像岳飞时期那样天下无敌，但也是很有实力的劲旅。
可后来朝廷放心不下王贵，怕他带领岳家军造反，于是便将他免职，命权臣张俊带领岳家军，这张俊当初也参与谋害岳飞，所以他有意瓦解岳家军。在他手下的岳家军，一日不如一日，加上岳家军的其他头领，如牛皋等陆续被杀，岳家军的实力已从军纪严明的百胜军沦落到一支毫无军纪的杂牌军。后来洞庭湖有土匪作乱，朝廷派这支岳家军前往剿灭，结果派出三千人的岳家军竟打不过几百人的土匪。最后朝廷只能从别处找来军队剿灭土匪。
