赵构的解决办法是接连给岳飞去了三道诏书。第一道诏书继续欺骗岳飞说"前议已定"；第二道诏书先大赞一番岳飞的忠勇，然后提醒他有些重要的消息会让张浚代传，希望岳飞在听到这些消息之后要做到"委曲协济"，千万不要闹脾气；第三道诏书则是让岳飞将以前那些手诏之类的相关文件缴还回来。此外，赵构还希望张浚能好好安抚一下岳飞，但张浚却把事情搞砸了。他把岳飞召到都督府，装作从没有发生过让岳飞接收刘家军的事情，意味深长地问岳飞："王德是淮西（刘家军）的宿将，淮西军一向信服他。我想让他做淮西军的都统制，再让吕祉以都督府参谋的身分接管淮西军，你觉得怎么样？"这番话里有两层意思。一是告诉岳飞由其接管刘家军的决定已被取消；二是告诉岳飞，张浚自己要去接收刘家军。
岳飞的回答，不是赵构和张浚所希望听到的。他告诉张浚，他不同意让吕祉和王德去接收刘家军。因为王德和其他刘家军将领素来不和，别人不会服从他；而吕祉是个只会纸上谈兵的理论家，不会带兵。他们去接收，一定要出乱子，妥善的做法，是"必择诸大将之可任者付之，然后可定"。接下来的谈话越来越僵，张浚问："那么张宣抚（张俊）如何？"岳飞说："张宣抚是老将，也是我的老领导。但为人暴而寡谋，不能让刘家军的将领们信服，恐怕不行。"张浚再问："杨沂中应该可以吧？"岳飞说："杨沂中与王德一个档次，怎么统帅得了一支大军！"因为龟山军事会议，张浚对岳飞本来已无好感，话谈到这里他怒道："我就知道，除了太尉你，其他人都不行！"岳飞也不示弱，愤然回击道："都督既然询问我，我就不敢不说实话、尽愚忠。我岂是为了得到淮西的军队！"
事情开始朝着不可收拾的方向发展。从张浚的都督府出来，岳飞立即给赵构写了一封辞职信，没等赵构批准，连驻地也没回，就跑到江州庐山的东林寺，为老母"持余服"扫墓守孝去了。张浚得知岳飞没回驻地，怒不可遏，接二连三地上奏赵构，说"岳飞积虑，专在并兵，奏牍求去，意在要君"，简直是赤裸裸的在要挟朝廷，建议干脆将岳飞的兵权也一起收掉。赵构也很懊恼，屡屡当着大臣严厉斥责岳飞骄横跋扈。
图：岳飞像
