恰好张浚、秦桧从中作梗，加以阻挠，高宗便将计就计，使得岳飞的宏图大计终于落空，这让岳飞大失所望，痛心疾首。
绍兴七年（1137年）秋，金国要放还钦宗太子赵谌的消息不胫而走，岳飞获悉后有所顾虑，便主动入觐向赵构提议立其养子赵瑗（后来的宋孝宗）为皇储，以此表明高宗为正统，这本是为赵构着想，孰料却遭到责难，这让岳飞莫名其妙，非常懊恼。
不满岳飞擅自辞职
岳飞满心要救国，用心写下奏疏《乞出师札子》，满以为会得到高宗大力支持，结果成了"东家种树书"，内心愤懑已极，加上张浚、秦桧等人的冷嘲热讽，这就更加使得个性刚烈的岳飞郁闷难当，便不由分说递上乞罢军职的札子，未经批示，仅向随行机密官黄纵做简单交代，便从建康一路奔向庐山，到母亲墓旁守孝去了。
