但是，他收复失地的计划一直得不到赵构的批准，几次吁请赵构返回东京，也未被采纳，积愤成疾，与世长辞。
接任东京留守的杜充，一反宗泽所为。北方人民抗金武装也遭受挫折，先后为金军击破。建炎二年秋至三年春，金军又发动攻势，前锋直指扬州，赵构仓皇逃往江南。抵达杭州不久，苗傅和刘正彦发动政变，逼迫赵构退位。吕颐浩和张浚联络韩世忠、刘光世和张俊起兵"勤王"，政变宣告失败。
东京留守杜充放弃开封，率军退往江南的建康府(今江苏南京)。当年冬，金将完颜宗弼率大军渡江，占领建康府，杜充投降，赵构又自杭州出奔，漂泊于海上。金军追至明州(今浙江宁波)，沿途遭受南宋军民的不断袭击，遂于建炎四年春在大肆掳掠后北撤。
韩世忠在黄天荡一带拦截金军，相持四十天之后，金军以火攻破韩世忠军，才得回到建康。岳飞率部克复了建康府，金军退至长江以北。
