在《说岳全传》中，岳家军除了抵御金军外，围剿境内的匪寇势力也是一项主要作战任务。岳飞麾下的许多猛将，就是在剿灭匪寇的过程中从匪寇当中收降而来，甚至就连他的结义兄弟牛皋等人，都曾有过多次落草为寇的经历。据不完全统计，该书中出现的匪寇集团共有十四个，而最有代表性的有五大集团。其中，岳飞率部平定三个，韩世忠平定一个，还有一个被岳、韩二帅合力歼灭。岳飞与韩世忠率部征剿这五大集团时，都从中得到了不少好处。其中，岳飞收服了十二员猛将，韩世忠收降了十余万兵马。
第五位：太行山匪寇集团。岳飞的结义兄弟牛皋等人，就有过两次落草太行山的经历，然而最有特色的还是王善集团。根据书中的描述，王善惯用一口金背大刀，勇武有力、心肠狠毒，江湖人称"金刀大王"。他聚集了五万多喽啰在太行山上落草为寇，帐下除了马保、何六等多位猛将之外，还有田奇、邓武等两位足智多谋的军师，兵精将勇、实力强悍。他们在地方上为祸多年，官军数次征剿都无功而返。为了夺得宋室江山，王善不惜诱骗小梁王柴桂为内应，意图夺了天下后再除之而后快。但是，王善绞尽脑汁想出的计策，却被岳飞搅了局。不仅如此，匪寇们倾巢而出进逼京师时，岳飞仅带着四个结义兄弟就把贼营冲得大乱，王善也在征战中被王贵斩杀，最终五万喽啰被悉数全歼。
第四位：太湖水寇集团。太湖水寇的首领叫杨虎，水性极好、武艺不凡，集结了六千多喽啰，五百多号战船，帐下有精通水战的元帅花普方、先行许宾等人。别看太湖水寇的兵马不多，但是他们依托周边复杂的山水地形，攻防有度、层层设阻，是平江府一带极为强悍的水寇势力。
此外，他们的战船还进行过精心改造，组建了"炮火"、"弩楼"、"水鬼"等四支令人生畏的船队，在湖中的战斗力极为强悍。能征惯战的平江府兵马都监吴能率部征讨时以身殉国，所部兵马死伤过半，知府陆章无奈之下只得向朝廷求援。此后，岳飞奉命进驻平江剿贼时，着实狠下了一番功夫，最终在杨虎的结义兄弟耿明初、耿明达两位兄弟的帮助下，大破水寇集团，并将匪首杨虎收服帐下为将。
