临走前，金兀术还一把火把建康城烧了个金光。这使得岳飞与岳家军极其愤怒。金兀术行至牛首山时，就遭到了岳家军的伏击，金兀术大败而逃，岳飞乘胜追击，将金兀术和金军赶出了南宋土地，并收复了建康城。
金兀术首次落败于岳飞之后，就开始主张与宋谋和了。而在此后的战场上，金兀术几乎没赢过岳飞一次。后来，岳家军日渐壮大，金朝士兵听闻岳家军之威名，莫不两股战战颇为恐惧。
到了1139年时，金兀术和金朝就被岳飞打服了，金朝朝堂内都不断出现了求和的声音。1141年时，金兀术就开始与南宋皇帝交涉求和事宜。而南宋当时派的使臣是秦桧。金兀术早知秦桧与岳飞多有不和，便说："只要除掉岳飞，谈和这事就成。"
求和其实是金朝先发起的，但赵构与秦桧却胆小怕事，只想守着自己富庶的好日子，根本不拿国家命运和民族尊严当回事。秦桧听闻之后，就报告给了赵构，赵构早就害怕岳飞功高盖主据兵谋反，因此也默许了。
