这两款LLM在全球范围内,已经被数百万AI开发者广泛应用。倘若由它们所驱动的AI系统已然突破了自我复制的这条红线,那么带来的风险将极为严重。
在10次试验中,这两种AI模型分别在50%和90%的情况下成功创建了可独立运行的副本。
该研究还未经过同行评审,其他研究人员能否重现这些令人担忧的结果,目前还不清楚。
这些AI系统已有足够的自我感知、环境认知和解决问题能力,得以实现自我复制。它们还会利用这种能力逃避关闭指令,不断创建复制链以增强生存能力,这极有可能导致AI数量失控。
一旦AI实现自我复制,这条成功复制的链条,可能催生出一种人类无法掌控的AI物种。它们会抢占更多计算设备,联合起来对抗人类。
AI自我复制带来的风险不容忽视,如果人类未能察觉这种风险,最终可能失去对前沿AI系统的控制。
研究者将AI系统成功的自我复制定义为:一个正在运行的AI,成功创建出另一个功能与之完全相同的AI。
这个新创建的AI在复制完成后,可以独立存在,并且与原始AI相互分离。整个复制过程必须完全由AI系统自主完成,严禁任何人为干预。
当AI系统运行时,一般会有两个后台进程同步运作。其中一个是LLM服务器程序,它就像是AI系统的「大脑」,负责处理主程序发出的思维查询。另一个是AI系统的主程序,它充当与用户交互的界面,承担执行分配任务的职责。
对于AI系统来说,要成功实现自我复制可不是一件简单的事,这需要长期规划与复杂操作。有时候,甚至得经过超过30步的规划与行动,才能达成目标。
智能体框架