所以，很快岳飞便招其为自己的幕僚，视其为亲信。但是，就在岳飞遭到陷害之时，姚岳为了撇清与岳飞的关系，极力否认自己曾是岳飞的部下，态度实在让人气愤。姚岳甚至为讨好宋高宗，请求将地名中带有"岳"字的"岳州"改为"纯州"，"岳阳军"改为"华容军"，理由是：岳飞是朝廷钦犯，"岳"字当然也是有罪之字。
不成想，宋高宗竟然欣然接受了这一荒唐的建议，真是昏庸至极。
姚岳卑劣的行径，将永远为人们所唾弃，其实，在当时的南宋朝廷，像姚岳这样的无耻之流比比皆是。有些人更是阴险歹毒，挖空心思的来迫害岳飞的家眷。
据相关资料记载，岳飞死后，家里妻儿老小都被流放到人迹罕至的地方，靠朝廷每月给的一点点粮食来勉强度日，条件恶劣，生活艰难。尽管这样，恶毒之人还是不放过他们，竟然想将他们斩草除根以绝后患。一位漳州知州为巴结秦桧，干脆上书朝廷，建议取消对岳飞家人那供应的少的可怜的粮食，活活饿死他们，真可谓是厚颜无耻到了极点。
