然而，接下来岳钟琪就遇到不顺心的事情了。先是成都大街上出现疯子卢宗汉高喊"岳钟琪要率川陕兵丁造反了"等口号，后又出现曾静、张熙给岳钟琪写信劝告其造反的事情。雍正皇帝虽然没有说什么，还百般抚慰岳钟琪，可心底还是埋下了怀疑的种子。
1729年，岳钟琪在奉命平息科尔沁、喀尔喀草原叛乱时，由于受到雍正皇帝的猜忌和制约，屡屡受挫，昔日的"常胜将军"变成了"常败将军"，遭到雍正皇帝的严词斥责。在军机大臣、内阁大学士鄂尔泰，副将军张广泗的弹劾下，雍正皇帝撤掉岳钟琪所有职务，交兵部拘禁，等待处理结果。
两年后，兵部的处理结果出来了，居然是"斩立决"。雍正皇帝因其平定西藏、青海叛乱有功，改为"斩监侯"，并处罚银70万两。乾隆皇帝即位后，岳钟琪被释放，贬为平民，回到成都老家闲居。
1748年，四川爆发大小金川之乱。张广泗等挥师征伐，劳而无功。乾隆皇帝想到了岳钟琪，将他重新召回来，授四川提督，率部平叛。
