在这样的情况下，金人见岳飞无法战胜，便开始散布岳飞功高震主的流言，并放走了被俘虏的秦桧。秦桧回到宋朝后，利用手中的权力，时常栽赃诬陷岳飞，但岳飞有军权在身，且支持者颇多，一时无法动他。于是秦桧便将手伸到了他身边的人身上，如韩世忠等人，但每一次都被岳飞保了下来。
绍兴十一年八月（公元1141年），岳飞被陷害，以至于失去军权，成为了闲职，此时的岳飞自请回乡闲赋养老。然而秦桧并没有放过他，岳飞遭诬陷谋反因而进入狱中，他的儿子岳云，和身边的亲信也都被抓了起来。令人震惊的是，诬陷岳飞谋反的人，主谋有九个都是他麾下将领。对此专家表示，不要考验人性。
这九位主将背叛岳飞的原因无非两点。首先，他们中大多并非都是岳飞的嫡系下属，大多还是隶属于朝廷，因此对于岳飞并没有多少信服感，其次岳飞在百姓心中声望极高，遭致这些人的嫉妒，从而被举报也不无可能。其次，当时岳飞已经下狱，岳家军群龙无首，秦桧正当宠手中权力过大，负隅顽抗不但不能解救岳飞，还有可能害得自己也身陷险境，为自保他们也不得不构陷岳飞。也正是因为他们的证词，成为了对岳飞定罪的关键。
