王次翁也因为过于忠实秦桧而导致了他自己再次被贬，过程是这样的：由于，宋高宗一直秉持着与金国人求和的心态，最终，双方达成了第二次议和。而且，条约里的重要内容就就金国人归还宋高宗的亲生母亲韦太后。
金国人押送着韦太后往南走了一段时间就不走了，理由是天气有点热了，想等到到天气凉爽了再往南走。韦太后很担心金国人再次反悔，于是，就找了个借口向金兵的首领借了大量的金钱，并且，还承诺到了南宋后会加倍偿还给金兵。
这就等于给了金兵首领一个诱饵，只有尽快把韦太后送到南宋，他们才能得到更多的金钱。韦太后不愧是一个聪明的人，但是，这也是可悲的，再聪明的人也抵不过金人的武力。很快到了金国与南宋的边境地带，迎接韦太后的人正是秦桧的亲信王次翁等人。
此时，韦太后连忙说出了自己曾经借过金兵首领的钱财，也答应了他们要加倍偿还，所以，要王次翁把钱还给金兵首领。王次翁是一个很谨慎的人，他觉得这件事情秦桧并没有安排他，若这样做了，是不是就有点巴结韦太后的意思呢，会不会引起秦桧的猜忌呢？
