还有一件事是岳飞返回不久就建议宋高宗早立太子。彼时宋高宗独子早夭,他在扬州兵败撤退时受了惊失去了生育能力,不过此时他才30岁,真是壮年,内心深处对自己的生育能力还抱有希望。岳飞如此提议让宋高宗觉得此时立太子其实是向天下宣告他的难言之隐,对岳飞更加讨厌。这两件事再加上岳飞和宋高宗在抗金问题上的不同立场,加剧了岳飞悲剧命运的步伐。
宋高宗不顾文武百官的反对,紧锣密鼓的和金人进行着议和之事。金人故意羞辱南宋,宋高宗对此都不在乎,还厚颜无耻的表示只要能让百姓免于冰刃之苦,皇帝的体面可以不必顾及。此时朝廷只有秦桧全力支持着皇帝,百姓们不怎么敢骂皇帝,就把矛头指向秦桧说他是奸细。很快议和协议通过了,宋高宗以为万事大吉就可以安享太平了,就给百官加官进爵,但是岳飞拒绝了皇帝的封赏,再次提醒宋高宗金人不可信。
这一次彻底惹恼了宋高宗,他和秦桧开始密谋除掉岳飞的计划。金人果然跟岳飞预想的是一样的,他们根本是假议和,撕毁协议再次侵略南宋,岳飞领着岳家军奔赴前线抗金,几次大仗下来,金人节节败退,毫无还手之力。岳家军胜利的捷报在宋高宗和秦桧的眼里变得那么的刺眼,他们容不得岳飞破坏和谈,连下12道金字牌召岳家军班师回朝,还让想要支援的韩世忠、张俊等人撤退。
在形势和君命的逼迫下,岳飞不得已放弃了追击金人。退兵之日,一代英雄仰天长叹"十年之力,毁于一旦",明明胜利在望,可这个希望却葬送在了宋高宗和秦桧之手。几个月以后尝到甜头金人再次卷土重来攻打淮西,岳家军长期抗战将士们还没有休息好就再次上了战场,不知道是岳飞对宋高宗极度失望还是秦桧等人阻挠了岳家军北上抗敌的步伐,等岳家军赶到淮西时金兵已经撤退了。