阿贝尔不仅有语言天赋，他在摄影、绘画和科学、音乐上都有所建树，试问一个精通欧洲六国语言又懂无线电，还多才多艺的人怎么会被埋没呢？适逢战争年代，这样的人最适合干什么？当然是间谍的不二人选了.1927年，阿贝尔被克格勃的前身，苏联国家政治保卫局选中，派往英国、法国和挪威等国执行情报任务，并接受情报训练，由此阿贝尔正式成为了一名职业间谍。
1939年底，德军入侵波兰，而苏联决定派间谍打入纳粹组织内部，当时的阿贝尔被选中，还伪装成了德国侨民混进了拉脱维亚，从此阿贝尔开始了他在欧洲战场上的传奇间谍之路。一开始进入德国的阿贝尔还只是一个普通人，不到4年的时间，他已经打入了纳粹情报部门的核心位置，纳粹有两大情报机构，一个是德国的党卫军，一个是国家秘密警察，或者称其为盖世太保，阿贝尔凭借出色的能力周旋于两大组织之间，还备受信赖，他也充分利用了两大组织之间的矛盾，左右逢源又互相挑拨，向苏联提供了大量的纳粹机密情报。
阿贝尔潜伏期间，干过两件相当传奇的事情，一个是帮助苏联将境内搞破坏的德军一网打尽，一个是将纳粹安插在苏联全国的1000多位间谍名单细数交给了苏联，1944年夏，德军陆军参谋长莱勃斯和情报部门共同制定了旋风计划。
此计划是企图秘密运送一支德军深入苏联的大后方，破坏苏联铁路和重要交通设施，首次的打击地址选在苏联喀尔巴阡山地区，并由德军的施瓦茨堡上尉带领30名精兵实施，阿贝尔掌握该情报后，一方面将计划通知到了苏联，一方面也开始精心布置，将自己的心腹间谍假扮成施瓦茨堡上尉，空投到苏联，和这30名德军汇合，一举把他们全部带到了伏击圈，而全部人员也被擒获，使德军破坏计划付诸东流。
