在此之后，岳飞在皇帝的支持下，开始收编刘光世的部队，岂料此举却遭到一直与其交恶的张俊，以及枢密使秦桧的极力反对。而且，这两人的反对理由竟极为强劲有力，便是大宋朝防范和抑制武将的祖宗家法。赵构此时已从丧父之痛中走了出来，兴兵北伐、替父报仇的心情也不如之前那般迫切，而对武将的防范之心却已大起。于是，他在听完张俊和秦桧的反对意见后，竟深以为然。就这样，赵构随即便下了一道手谕给岳飞，委婉取消了之前的收编成命，而善后之事又全权委托给张俊去处理。
其实无论是在当时，还是在后世史书上，张俊都是一位评价很高的对金主战派人物。不过很可惜的是，他和岳飞这对本该志同道合的战友，很快又因收编之事发生了一次让历史无比遗憾的谈话。就在赵构取消收编成命后不久，张浚便将岳飞召至都督府。此时，他若是光明磊落地直接将皇帝的命令告知岳飞的话，结果将会很不一样。可惜，他却揣着明白装糊涂，很不高明地撇开收编刘光世的"前议"，却以淮西军中人事安排相问。这等于是变相通知岳飞，咱们之前议定的收编之事已经全不作数。对此，岳飞心中虽然愤慨，却还是据实耿直回答，不料又遭到张浚的恶语讥刺。
最终，岳飞离开张俊的都督府后，心中的积忿却还是难平，立即上了一道乞罢军职的奏疏，不等皇帝批示，便离开了建康，回到母亲墓旁守制去了。此事过后，岳飞当然十分生气，可生气的人却并不只他一个，还有本不该生气的张俊和赵构。据《宋史》记载，张俊随后曾数次弹劾岳飞，对其恼怒和不满显而易见。而赵构也认为岳飞辞职完全是居功自傲，实对自己这个帝国皇帝大为不敬。从此后发生的事情来看，赵构也正是从此时起，彻底关闭了理解和信任的大门，对岳飞也只剩下了利用。
为了江山安危和皇权稳固，虽然赵构很生气，却十分清楚还必须仰仗岳飞。于是，他采取了一个极其罕见，又近乎无赖的方法来处理这件事。他派出岳飞的主要助手李若虚和王贵去庐山请岳飞还军，并下了一道命令，让二人必要时可在岳飞隔壁筑一草庐，敦促其复出工作。就这样，李若虚在岳母墓旁苦劝了岳飞6天，岳飞这才肯答应受诏朝见皇帝，还军视事。还朝之后，岳飞其实还是给足了皇帝面子的，曾三次向赵构请罪。而赵构也自然表现得宽宏大量，但却说了一句看似平淡和煦，实则杀机四伏的话："这次你虽然莽撞，但我并不生气，否则必将有惩处。太祖皇帝曾说过，犯吾法者，唯有剑尔。我之所以还让你统制大军，就是因为我没有生气的意思。"
