但在权力竞逐中，政敌将他赶出核心圈，让其主掌克格勃组织。在政敌看来，苏联史上根本没有从克格勃成为国家元首的先例。1967年5月，安德罗波夫开始主掌克格勃组织，并且一直连干15年。在他的领导下，克格勃人员扩编，预算增加，活动范围扩大，由惩罚机关变成世界上最庞大的情报机关。他因患眼疾而戴上的“蛤蟆镜”，被看作克格勃总头目的标志，受到最高领导人勃列日涅夫特别赏识。
1982年11月，勃列日涅夫去世，安德罗波夫成为苏联最高领导人，接过一个危机四伏的政权。上台第三天，他在高层会议中说：“苏联的主要威胁不是来自世界帝国主义，而是来自人民的贫困穷苦。”他深知人民最痛恨官场腐败，于是大刀阔斧进行反腐，将巨贪——原内务部长和工业出口局长枪毙，勃列日涅夫的女婿送进监狱。在他执政期间，总共处理了90多人部长级干部，150个州级领导中47名被撤职，杀伐果断的作风令官场为之一振。
安德罗波夫长期患有肾病，身体状况一直不好，接任国家最高领导人后，他全力以赴地工作，希望革除苏联各种积病弊端。但在高强度工作压力下，安德罗波夫身体不堪其负，病情越来越重。1983年夏天，他的健康状况突然急剧恶化，必须进行专门的医生护理才行，只得将许多重要工作交给戈尔巴乔夫处理。1984年2月9日，安德罗波夫壮志未酬撒手而去，终年70岁。
