图：《中兴四将图》之岳飞（左）与张俊（右）
岳飞也曾被张浚认为是一个不愿合作者。据《会编》记载，绍兴六、七年间，张浚计划征讨伪齐，与四大将--张俊、韩世忠、刘光世、岳飞，在龟山举行最高军事会议。家军大将们态度各不相同。刘光世主张防守，韩世忠极力建议进兵，资格最老的张俊态度模棱两可，张浚寄望于家军当中兵力最强盛的岳飞，结果"惟岳飞独以为不可用兵，浚再三问之，飞坚执不可之说"，一贯主张北伐的岳飞在会议上的这种态度，让张浚相当意外，他由此对岳飞的看法发生了极大的变化，认为岳有"养寇自重"的心思--岳飞是不是真的养寇自重，其实并不重要；重要的是，他的态度已引发了南宋朝廷对他的猜忌。会议的最终结果，是除了韩世忠之外，没有一支家军，愿意与南宋朝廷的代表张浚合作。而韩世忠愿意合作，又与张浚一直以来对韩家军的扶植有直接关系。
此次龟山最高军事会议，可以视作南宋政府对家军集团态度的一道分水岭。
绍兴七年二月，南宋朝廷考虑良久之后，终于决定对家军采取措施。赵构和宰相张浚达成一致意见，决定罢免刘光世的兵权，解体刘家军。在"中兴四大将"中，刘光世这位将门之子，早已将自己的主要精力转移到了房宇田产和珍宝古玩上面。赵构赏赐的一件古玩，刘光世可以从早晨把玩到四更天。遇到战事，刘光世也已很少亲临前线，往往只派偏将前往。所以，解除刘光世的兵权，很轻易就获得了朝廷上下的同意，也没有遭遇太大的阻力。
问题是：谁来接管刘光世这支军队。赵构与张浚在这个问题上出现了严重的分歧。
