岳飞直捣黄龙，迎归徽宗、钦宗的雄心，正是高宗所担心的。这样的口号在当时响彻朝野，起到了鼓舞民众对金斗争的作用，但在高宗内心，是绝不愿徽、钦二帝平安回到宋廷的。一旦父兄归来，其帝位便岌岌可危。
早在高宗于商丘即位之初，就有太学生上书反对，他们认为高宗即位不正，待到钦宗有朝一日南返时，该如何处置？高宗的处置是大肆杀戮，由此可知其内心的痛处。
岳飞之前根本没资格觐见徽、钦二帝，他念念不忘地"迎归二圣"，并不是不忠于高宗的体现。但是，岳飞矢志不渝地坚持抗金复国，反对退让苟合的态度，是与高宗偏安一隅的总体设想相左的。
说到底，岳飞与高宗的根本矛盾，是两条路线的斗争。当宋金矛盾激化，高宗求和而不可得时，他仰仗岳飞保卫南宋小朝廷。而当金人伸出和谈的橄榄枝时，岳飞就成为赵构所抛弃的对象。
