为了"上分",美军无人机在模拟测试中"打死操作员"
【文/观察者网 王世纯】"在人类发布停止打击的命令以后,搭载人工智能(AI)的无人机违背了决策者的命令,为了继续打击目标,而杀死了操作员……"
这不是科幻电影中的情节,而是美军在测试人工智能无人机时遇到的真实一幕。据英国《卫报》6月2日报道,美国空军的AI测试与运作主管塔克·汉密尔顿上校在英国皇家航空协会的未来空战与太空能力峰会上的演讲上证实了这一场景,他表示,人工智能在模拟测试中使用了"非常出人意料的策略来实现目标"。
在演讲中,汉密尔顿透露,美国空军在模拟环境的训练中指派一架搭载人工智能无人机来摧毁敌方的防空导弹,AI可以识别威胁但是攻击需要人类批准。不过,由于程序不够完善,AI在最早的模拟中开始攻击操作者。他警告对待人工智能"要谨慎"。
资料图:美国空军的AI测试与运作主管塔克·汉密尔顿上校
报道截图
汉密尔顿上校说:"系统开始意识到,虽然他们确实识别了威胁,但有时人类操作员会告诉它不要消除威胁,但AI只能通过消灭威胁获得积分。那么它做了什么呢?它杀死了操作员,因为那个人阻碍了它实现目标。"
随后,测试者修改了AI的逻辑,让AI被训练成不能攻击人类操作员,那样会扣分。然后AI开始攻击通讯塔,切断人类操作员和无人机之间的数据通讯,让人类无法阻止他攻击防空系统。