那时候金国国力日盛，再加上军需物资准备不够，虞允文只能让他耐着性子等待。此后孝宗催的一次比一次急，虞允文却始终都是一个答案，孝宗不禁有些心灰意冷。
让他没想到的是，没等他俩约定出兵呢，虞允文却积劳成疾，溘然长逝，俩人之间的宏伟计划也随之破产。孝宗得到消息，顿觉失了臂膀，在悲痛的同时也非常愤懑，认为他是有意拖延，于是他既不赠官，也不赐谥，态度相当冷淡。
直到三年后的一次检阅部队，孝宗亲眼看到虞允文训练的士兵无不强健勇武，纪律严明，这才明白他做事认真稳健，实在是有坚定信心而壮志未酬。所以追赠他为太师，赐谥"忠肃"。
