上述解释，当时就有不少士人提出质疑，指出下列疑点：秦桧与众官员一同被拘掳至金庭，为何惟独秦桧能逃归?金军令秦桧从军办事，为防其逃跑，必留其妻子为人质，怎么可能让他们夫妇同行呢?甚至还有小奴、小牌、侍卫也一同逃归，简直让人不可思议。从楚州南逃，也有千里之遥，途中要跋山涉水，难道金国毫无防禁之设?刘靖既欲图财害命，说明秦桧必有可观的随身之物，这哪会是“定计于食顷之间”的仓猝出逃呢?再有，如丁祀果真在当时关键时刻拒绝接见秦桧，那么秦桧得势后必定会加以报复。但事实却是，秦桧为相，丁祀即得提升，且官运亨通，权倾一时。秦桧有如此胸怀吗?这一连串的疑点，让人们怀疑其南逃脱险经历的可信度。
在逃归说中，陆游《老学庵笔记》中的记载却颇为另类。说秦桧在山东计划南逃时，船只都已备好，惟独怕金营中有人告发，所以仍犹豫不决。适遇一个略有交情的金人，便将自己的想法告之。金人说：“何不找监军商量一下?”秦桧说不敢。金人说：“不然，我国人一旦许诺你，就会担起有关责任，虽因此死都没有什么遗憾的。若你逃而被抓获，即使想宽恕你，也不敢了。”秦桧便听其言，找监军商量。监军说：“中丞果然想南归吗?我们契丹人亦有逃归者，但回去后更受怀疑。怎么知道你南归后，宋人会认为你忠呢?你若果真想走，不必顾虑到我。”秦桧喜出望外，赶紧道谢说：“公若允许，也不必问我南归后的祸福。”于是，监军同意秦桧南归。
不知陆游这段记载的来路，有学者以为“无非是得之道听途说”，因为《老学庵笔记》成书较晚，当时秦桧己死四十年，所以绝非作者的亲历。其内容所载，也有颇令人困惑之处：就是那个金军的监军怎么那样富有人情味，居然同意秦桧南逃，甚至还愿意承担有关责任，这与古代战争环境所规定的文化氛围似乎也不太协调。但也有学者认为《老学庵笔记》的创作态度严肃而认真，史料价值较高，可信程度较大。尤其陆游是南宋著名的抗战派人物，政见与秦桧截然对立，若可知秦桧真是金人纵归的奸细，于情于理，陆游都决不至于为其护短。当时要想揭露秦桧的种种丑恶罪行，已经无所顾忌，根本没有必要为其掩饰什么。可见，陆游的这条史料是值得重视的，然而这条史料又仅为“孤证”，并不能说明多少问题。
再看纵归说。首先是朱胜非在《秀水闲居录》中的记载，它是指认秦桧为金人纵归的最早出处。其说秦桧随金人北去，为金人达兰郎君所任用。金骑渡江，秦桧同来，回到楚州，金人遣舟送归。秦桧为王仲山女婿，有产业在济南，金人在那里取了一千缗钱作为秦桧南行离别的赠礼。秦桧南归之初，自言杀金人之监己者，夺舟来归。但全家同舟，甚至奴脾也一起得回，人们都知道其不是逃归也。此说对后人影响很大，《林泉野记》等书的记载，基本上就是沿袭此说。史学家李心传为“胪采异同”，也在《建炎以来系年要录》的小注中对这段话加以收录。
