雍正皇帝在位时，岳钟琪从年羹尧手中接任了川陕总督。此时，岳钟琪官至总督，封三等公爵，手握川陕甘三省兵权。作为汉臣的岳钟琪，权力越大越会遭到猜忌和诬陷。雍正五年（1727年），有一个"疯子"沿街高声叫喊："岳钟琪要率川陕兵丁造反了！"虽然朝廷经审讯之后确认此人疯癫，但岳钟琪不敢怠慢，急忙向雍正皇帝上奏，表明实情。最后雍正皇帝将"疯子"以"造谣惑众，诬陷大臣罪"斩首示众，岳钟琪心里的一块石头才算落了地。
不久，岳钟琪又陷入了舆论漩涡，有一个叫曾静的秀才给岳钟琪写了一封信，在信中对雍正皇帝极尽责骂之词；又以岳飞抗金的事迹激励为作为岳飞后裔的岳钟琪，劝他掉转枪头指向金人的后裔满洲人，为宋明二朝复仇。岳钟琪假装同意，骗出口供，反过来将其抓捕，由此引发清朝历史上有名的"吕留良案"。虽然雍正皇帝在事后对岳钟琪进行了褒奖，但在岳钟琪的仕途已经埋下了祸根。
此后，清军在于准噶尔部战事中稍有不利，雍正皇帝就对岳钟琪严词指责，最终在朝臣的弹劾之下，岳钟琪被罢官，交由兵部拘禁议处。在将近两年之后，兵部的判决才下来，居然是"斩决"，雍正皇帝左右权衡，念及岳钟琪当年进西藏、平青海之功，将"斩决"改为"斩监侯"，就这样岳钟琪才逃过一劫。
乾隆皇帝在位时期，由于大金川叛乱，岳钟琪才被授于四川提督，重回久违的沙场，此时他已经62岁了。在清朝平定大小金川之乱总，岳钟琪立下了汗马功劳，并一直被乾隆皇帝所重用。乾隆十九年（1754年），岳钟琪病逝，享年68岁，乾隆皇帝为其赐谥为"襄勤"。
在整个清朝，汉臣中拜为大将军，连满族士卒也要听命的，仅仅岳钟琪一人。后世有人评价说，岳钟琪盖世功勋，72万平方公里的青海全部隶属清朝，123万平方公里的西藏纳入大清版图，堪称清朝中期的第一名将。乾隆皇帝将岳钟琪列为五功臣之一，并称之为"三朝武臣巨擘"。
