和谈是整顿家军的前提，只有来自外界的军事压力大幅度削弱，南宋政府才能腾出手来整顿家军。这一秘密计划，只流传在南宋政府有限的几个最高决策核心中间，包括了赵构、赵鼎、秦桧，以及王庶。对外朝廷另有一套说辞。绍兴八年和绍兴十一年的两次和议，赵构始终在对外不断强调"孝道"，他当着整个国家痛哭流涕，希望大家理解他的苦衷，他需要和议，需要从冰天雪地的五国城，把自己的生母和其他皇室迎回来。
从绍兴八年到绍兴十一年，决策核心发生了许多人事变动，宰相赵鼎也被秦桧所取代，但通过和议来为整顿家军开路这一基本路线，却始终没有发生变化。赵构已经狠下心来，一定要彻底解散家军，一定要建立起一支完全由自己掌控的庞大中央军。在此期间，岳飞们在军事上所取得一切胜利，其实都是在挖自己命运的墙脚。他们对金人的军事压力越大，金人就越容易同意和议，大将们自己的最终命运，也就来得越快。这种明显的迹象，可以从两次和议的对比中看到。绍兴八年的和议，朝廷中的士大夫们分裂为赞同和反对两大派，彼此对抗；而到了绍兴十一年，却几乎没有士大夫出来反对和议。南宋学者吕中后来感慨说："向者之和，贤士大夫并起争之。今则无一人言之。"会变成这样，吕中认为是"诸将奏捷"的缘故--确实如此，绍兴八年朝廷还没有从淮西兵变中恢复过来，而绍兴十一年的拓皋之战，已彻底打消了金军渡过长江的念头。
所以，当岳飞在郾城大捷后极力请求继续扩大战果时，赵构却用十多道金牌把他招了回来。这一举动的实质，不是"南宋朝廷的投降派在捣乱"，而是赵构觉得彻底摧毁家军的时机已经成熟了。随后发生的事情耳熟能详：朝廷"杯酒释兵权"，以中央最高军事长官（枢密使、枢密副使）的空头衔，取消了张俊、韩世忠和岳飞的统军大权。当张俊和韩世忠广置田宅，开始他们后半生"醉生梦死"的"糜烂"生涯时，岳飞则被投进了临安府的最高监狱。岳飞的这个结局，其实早在绍兴七年就已写定--那一年，赵构亲手将岳飞推上了信任与权力的巅峰，又亲手将他从巅峰上面踹了下来。不管岳飞内心有无怨怼，这场风波之后，多疑而猜忌的赵构，都不可能再信任岳飞。
绍兴十二年，世间已无岳少保。赵构对着大臣们兴奋地说："今兵权归朝廷，朕要易将帅，承命、奉行，与差文官无异也。"
