岳飞直接就撂挑子不干了，抛下自己手下的士兵和责任直接到山上进行隐居，而当时与大金的战事也是正激烈，主帅的离开，彻底的让大宋乱了阵脚，于是无法高宗只能亲自写信安慰他，但是岳飞却是居功自傲，依旧不肯下山，最后还是高宗以他人性命作为威胁，岳飞才悻悻地下了山，回到军中主持大局。虽然表面上高宗做了妥协，但是心中对岳飞也是势必起了防范之心。
其次岳飞身为手握重兵的武将却参与了国家立储之事，宋高宗一生无子，所以势必要过继宗门世子继承自己的皇位，而恰巧大金为了对付大宋，便准备立一个赵谌为傀儡皇帝，因为赵构也就是宋高宗是宋钦宗的弟弟，而赵谌却是嫡长子，从身份上来讲赵谌继承皇位也就更加名正言顺，于是岳飞便直接进言让宋徽宗从宗室中过继一个孩子，这算是彻底的犯了宋高宗的忌讳，毕竟帝王最重视的就是血统了。
