然而当时朝廷为蔡京等"六贼"把持。张叔夜的弟弟曾经弹劾过蔡京，算是跟蔡京结了死仇。兄弟二人也因此多次遭到贬职，最惨的时候他被贬到陕西负责看守马场草料。这时宋军来袭海州，恰好张叔夜被蔡京再次贬职到海州任知府。
张叔夜探知宋江带着十余船金银珠宝准备攻打海州城后，丝毫没有慌乱。他知道对这样的悍匪不宜力敌，当攻心为上。他先是招募了近千名死忠之士，一队在城郊设下埋伏，一队潜匿在海边。然后派弱兵前去海边引诱宋江军出来交战。宋江果然轻敌，主力离了大船上岸与宋兵对战。刚一接战，海边隐匿的士兵便突然放火焚烧宋江的船队。宋江手下那帮悍匪把脑袋别在裤腰上拎着刀子四处劫掠，不就是为了金银财宝么？看到藏宝的船只被烧，立刻没了斗志，乱作一团。这时，张叔夜在城郊的伏兵立即杀出，轻而易举破了宋江。宋江军大败，副帅被擒，走投无路，也只好投降了。《宋史》中所写张叔夜剿灭宋江等匪寇三十六人的记载便是此役。从这个过程推断，这三十六人应是匪军里的大小头目数量。
这场剿灭战后张叔夜被提拔为徽猷阁直学士，改任济南府知府。之后，他又剿灭多处悍匪，斩首达数千，因功擢升龙图阁直学士，派任青州府知府。
转眼到了公元1126年（靖康元年）。这年十一月二十四，北宋国都汴京迎来了第二次围城危机。金国东路军元帅、女真战神完颜宗望率大军一年之内再次来到开封城下。八天之后，同样威名赫赫的金国西路军元帅完颜宗翰的前军也出现在了汴京城下。其实金兵首次攻打汴京，并未攻下来。而且当时汴京城外数十万勤王大军云集，金兵并未取得太大优势。但吓破胆的宋朝一味求和，以割让河北三镇等地换取金兵退兵。议和达成后，金兵撤回北方，宋廷也遣散各地勤王大军。不料仅仅数月，金兵便再次南下。
