绍兴十一年（1141年）十一月，宋金两国达成《绍兴和议》，两国以淮水-大散关为界。宋割让此前被岳飞收复的唐州、邓州以及商州、秦州的大半，每年向金进贡银25万两，绢25万匹，而且完颜兀术要求："必杀岳飞，而后和可成。"
绍兴十一年十二月廿九日（1142年1月27日），宋高宗最终下令杀死岳飞，同时被处死的，还有背嵬军的领兵统制、岳飞长子岳云，以及岳飞的大将张宪，临死前，岳飞在供状上只留下八个绝笔字："天日昭昭，天日昭昭！"
此后，包括背嵬军在内的岳家军，被参与宋高宗、秦桧密谋的张俊，派遣心腹田师中接管，背嵬军等岳家军也被逐渐裁减、撤并，最终逐渐消失。
岳飞死后19年，南宋绍兴三十一年（1161年），金主完颜亮再次统率数十万大军南下，试图征灭南宋，而当时，岳飞、韩世忠等抗金名将已被杀的杀、死的死，宋高宗手下已无可用之兵、可用之将，就在这时，他才想起来岳飞和当年那勇悍无比的背嵬军来。
只是无比运气的是，金军军心不一、战力衰弱，而在采石（今安徽马鞍山）之战中，竟然被一个书生虞允文，临时指挥一帮散军游勇击败，此后不久金军内讧，金主完颜亮被杀，金军主动退兵，才使得吓出一身冷汗的宋高宗得以续保了皇位。
