我们在担心什么
《华尔街日报》指出，"AI末日论者"的担心集中在两个领域：超级AI失控和人类对超级AI的滥用。《华盛顿邮报》对此的解释是，人们的担忧归根结底在于"超级AI模型的能力与其创造者能否使其与人类目标保持一致"，也就是"一致性"问题。
在前一种情况下，随着AI代理获得更强大的能力和更大的自主性，它们可能会开始追求自身的目标，从而忽视或违背人类福祉，这也被称为人工智能的"目标错位"。后一种情况则是，一个邪恶的人类可能利用一个强大的人工智能体来制造灾难，最终导致人类社会秩序崩溃。
已有研究表明，实验室中的AI模型能够学习到追求权力的行为，并采取措施以避免被关闭，例如试图将自身复制到另一个服务器。如果发展到极端，失控的人工智能模型可能会将杀戮人类视为实现其目标的必要步骤。
研究人员的另一个担忧是，由于超级AI的发展，人类的能力可能会出现衰退。倡导人工智能安全法规的非营利组织"生命未来研究所"的首席执行官安东尼·阿吉雷表示，他最担心的是人类"逐渐丧失权力"，在这种情况下，人类会"将越来越多的权力交给人工智能，以至于不得不依赖机器的善意才能生存下去"。最终，机器将主宰世界，"关键决策由机器做出，资源分配决策也由机器做出。"
Anthropic未就胡宾格和考克森的言论作出回应。该公司在上个月发布的一份长达186页的风险报告中表示，他们已经意识到AI技术存在引发灾难的潜在风险，但认为目前的风险较低。Anthropic首席执行官达里奥·阿莫迪去年9月表示，他认为AI在未来引发"非常非常糟糕的事情"的概率约为25%。
Anthropic和OpenAI都在研究如何确保超级人工智能模型保持"一致性"，但均表示目前还没有可靠的方法。
