于是下令川陕之地宋军退兵，虞允文此时战意正盛，自然不想就这样回师，于是多次上书，认为陕西不可弃。
宋孝宗也有些为其所动，但最终依然听信主和派的意见，强令要求退兵。以致北伐功败垂成。
退出收复的陕西六郡的隔年，金军果然再次挥师而来，又将这些地域占为己有。宋孝宗悔不当初，可惜为时已晚。
虞允文回师之后，不再被重用，他哀叹南宋之羸弱，于是终日郁郁寡欢。待其过世后，宋孝宗手下也已没人能臣干将再有能力北伐，于是北伐的念头完全被放弃。
若细细品味，南宋并不是没有出色之将帅，而是在南宋的体制下，好像杰出的将帅都会败在朝中小人的谗言中。不过令人感到幸运的是，虞允文并没有像岳飞一样死于"莫须有"的罪名之中，而是郁郁老死。
