在余玠的防御在区，很多将帅都推举上校军衔的统制姚世安。余玠一直以来，就想革除军中推举连带的弊端，下令三千骑兵到云顶山下，遣都统金某去代替姚世安。
姚世安守住关隘，竟然不接受命令，又有怨言，怀疑余玠图谋吞并自己。当有丞相谢方叔家的子侄，从永康避居到云顶，姚世安与他有着深厚的交往，请求谢方叔援助他。
谢方叔与余玠久有不和，并且两个人在对蒙古斗争问题上，也是一个主和，一个主战。他自己在宋理宗面陈，余玠大失人心，如果不是他调停，就会很快发生变乱。
国学名篇《千字文》有言"闰余成岁"，直译为闰日积累成一岁。谣言说多了，也就成了真理。谢方叔又暗地里唆使姚世安，秘密地寻求余玠的短处，在皇帝理宗面前不断地陈说。
