尽管到了最后，赵构仍不得不派人去敦促岳飞复出，但他那扇一度对岳飞敞开到了极限的大门，却已悄然完全关闭。当岳飞被劝下庐山、前往建康府请罪时，赵构说了一番似软实硬的话："卿家前些日子的奏章很轻率，但朕并不恼怒。若是恼怒了，怎么会没有谴责卿家呢？太祖皇帝说过，谁犯了我的法度，我用来招呼他的，就惟有刀剑。如今让卿家继续执掌军队，寄托恢复的重任，可见朕确实没有怪罪卿家的意思。"回到鄂州后，岳飞给高宗上了一道折子，重提"陛下比者寝閤之命，圣断已坚；咸谓恢复之功，指日可冀。何至今日，尚未决策北向……"，提醒赵构不要忘了是他违背了君臣间彼此的承诺。
稍后刘家军的接收，果然与岳飞所预料的丝毫不差。王德镇不住其他将领，吕祉也确实只会纸上谈兵。其结局是：刘家军大将郦琼发动兵变，杀死吕祉，率军四万余人北投。王德只能守着本部的几千人，眼睁睁看着郦琼扬长而去。刘家军从此不复存在，淮上前线的防御也一度陷入崩溃。张浚成了导致这场叛乱的罪人，被踢出了决策中枢；继张浚出任宰相的赵鼎，从郦琼的叛变中，再次体味到了一支由朝廷（也就是由皇帝）直接掌控的军队，是多么地重要。
受郦琼叛变的影响，赵构将自己的住处从靠近前线的建康，悄悄转移到了后方的杭州。刚撤掉刘光世，这支5万多人的大军立刻叛逃他国，赵构对家军的信任已跌至冰点--遗憾的是，赵构很少反思自己在接收过程中所犯下的累累错误。皇帝与宰相们再度达成共识：整顿出一支完全隶属于皇帝的强大中央军，是目前最亟需完成的政治作业。
有鉴于直接摘掉家军领袖的教训，赵鼎采取了更为隐蔽的手段：奖掖家军当中的偏将，让他们从家军中独立出来，进而使整个家军解体。这很类似于汉武帝当年所实施的"推恩令"：让每个大诸侯国里产生无数个小诸侯国，从而瓦解掉大诸侯国。大将当中，老练的张俊一眼就看透了朝廷的图谋，并及时采取了应对措施，使朝廷"终不能得其柄"。但岳飞没能看清这场政治的浓雾。绍兴八年，他还在向赵构请求增兵，结果自然是被拒绝。
与瓦解家军的工作同时进行的，是与金人的和谈。一种流行的错误论断是：宋金和谈，是南宋政府整顿家军的目的，为了向金人妥协，南宋政府杀害了坚决抗金的将领岳飞。这种说法其实颠倒了因果。绍兴八年，具体负责整顿家军的枢密副使王庶，已经把这个问题说得再明白不过了："敌之强弱，吾无与也，顾在我者何如耳。"也就是说，和谈不是整顿军队的目的；相反，整顿军队，才是和谈的目的--没有一个宽松、和平的宋金关系，赵构就不敢对家军动大手术；要对家军动大手术，首要之务就是进行宋金和谈。王船山在《宋论》里评价这段历史，也说得很明白：收兵权才是目的，搞和议只是手段。
