因此这件事让赵构对岳飞的信任开始大打折扣，而且这件事过后不久，又发生了对岳飞命运产生重大影响的“淮西事变”。当时，赵构想安排岳飞接替中兴四将之一刘光世的部队，这个决定一出，就遭到了时任宰相张浚和枢密使秦桧的强烈反对，而反对的理由很明显，就是宋朝不能让武将坐大的传统。
赵构在听完二人的陈述后，觉得很有道理，就给岳飞写了一份手诏，委婉地取消了这项任命，并让丞相张浚处理善后工作。为了安抚岳飞，张浚邀请岳飞到他家做客，二人进行了一次会谈，结果这次谈话不太愉快。岳飞一气之下，撂了挑子，回老家给母亲守孝去了，而张浚觉得岳飞居功自傲，骄横跋扈，就不停地上书弹劾岳飞，次数一多，赵构对岳飞的看法也就开始转变了。
事情还没结束，在排挤了岳飞之后，原隶属刘光世部队的统制官郦琼因不满朝廷的安排，发动了叛乱，杀死了朝廷派来的监军官，带领全军四万余人，并裹胁百姓十余万投降了金人扶持的傀儡皇帝刘豫的伪齐政权。
“淮西事变”对赵构造成了极大的影响，他彻底地认识到，让武将掌权的危害到底有多大，因此，他从内心深处开始防范和猜疑这些可以领兵打仗的武将们，包括岳飞。当南宋外部的局势稳定之后，赵构觉得是时候控制武将们的权力了，便强行剥夺了南宋三大将的兵权。
兵权被回收之后，秦桧开始发力打击这三人，但是韩世忠和张俊逃过了一劫，只有岳飞以“莫须有”的罪名被处死。在以压制武将权力为基本国策的南宋，岳飞并不敏锐的政治智慧和个人性格，最终使得他只能走向死这条路。
