乾道五年（1169年）八月，孝宗召虞允文入朝，命他掌握军政大权。虞允文一方面在财力、物力、兵力上积极为北伐作好准备，另一方面，他建议孝宗遣使赴金，要求修改隆兴和议中部分侮辱性的条款。乾道六年（1170年）闰五月，孝宗派范成大出使金国，提出归还河南陵寝之地和更改接受国书礼仪的要求，遭到金世宗和金朝群臣断然拒绝。尽管范成大与金人据理力争，毫无惧色，但最后还是无功而返。
虞允文虽然是北伐的坚定支持者，但实际上他心中顾虑重重。孝宗在隆兴和议签定前，对于和战的态度总是摇摆不定，最终在太上皇和主和派的压力下，接受了屈辱的和约。虞允文对此记忆犹新，一旦再次北伐，他担心孝宗又会如法炮制，随时改变主意，使北伐半途而废。另一方面，孝宗十分宠幸东宫旧人曾觌等奸佞之辈，这也令虞允文意识到了潜在的危机。万一北伐不利，自己势必遭到朝野上下的围攻，甚至会有杀身之祸。乾道八年（1172年）九月，他辞去相位，再次出任四川宣抚使。
临行之前，孝宗要求他到四川后立刻出兵，与江淮军队会师于河南，虞允文忧心忡忡地说：''我担心陛下届时未必能够配合。''孝宗当即表示：''如果你出兵而朕犹豫，就是朕有负于你；如果朕已举兵而你不率兵行动，就是你有负于肤！''然而，孝宗这番慷慨激昂的话并没有打消虞允文的顾虑。虞允文在四川任上时，孝宗任命了坚决反战的梁克家为宰相，牵制和阻碍了虞允文的行动，更增加了虞允文的担忧。他到四川后，虽然积极备战，但却一再推迟出兵时间。乾道九年十月，孝宗手沼虞允文，催促他早曰出师，虞允文以''军需未备''为由，要孝宗''待时而动”，实际上拒绝了孝宗的要求，从而使孝宗恢复中原的计划又一次落空了。
淳熙元年（1174年）二月，虞允文因操劳过度去世，这对孝宗的中兴大计和北伐信心无疑是沉重的打击。南宋再也找不出像虞允文那样坚决主战又有才能的大臣，主战派不少将领已经亡故，尚还在世的大臣也日趋消极保守，更不要说主和派官员了。面对朝廷上下安于现状的主流心态，孝宗既痛心疾首又无可奈何，自己恢复中原的远大抱负无从施展，昔曰的锐气渐渐消磨下去，暮气日重。孝宗在位后期，内外政策都转向平稳，南宋朝廷又陶醉在了“中外无事''、偏安一隅的升平景象之中。
