英语轻松读发新版了,欢迎下载、更新

AI现在可以复制自己 - 一个让专家恐惧的里程碑

2025-01-24 13:00:00 英文原文

作者:Owen HughesSocial Links Navigation

Digital Image of two faces looking towards each other.
在10项试验中,两个AI模型分别在50%和90%的病例中创建了独立且运作的复制品。 (图片来源:Mina de la o/Getty Images)

科学家说人工智能(AI)越过了关键的“红线”,并复制了自己。在一项新研究中,来自中国表明两个流行的大型语言模型(LLM)可以克隆自己。

这项研究人员在研究中写道:“在没有人类援助下的成功自我复制是AI超越[人类]的重要步骤,并且是流氓AIS的早期信号。”arxiv

在研究中,富丹大学的研究人员使用了LLMS从Meta和Alibaba确定自我复制AI是否可以超越控制。在10项试验中,这两个AI模型在50%和90%的病例中创建了独立且运作的复制品,分别表明AI可能已经具有流氓的能力。但是,这项研究尚未经过同行评审,因此尚不清楚其他研究人员是否可以复制令人不安的结果。

“我们希望我们的发现可以及时提高人类社会的更多努力,以理解和评估Frontier AI系统的潜在风险,并形成国际协同作用,以尽早制定有效的安全护栏。”

有关的: AI代理只需要2个小时才能以85%的精度复制您的个性

流氓AI通常是指发展一定程度的人工智能系统自我意识或自主权然后应对人类利益。

许多专家认为流氓人工智会是日益增长的威胁所谓的“ Frontier AI”的爆炸性增长得到了放大。

将世界上最迷人的发现直接传递到您的收件箱中。

Frontier AI是一个新的且宽松的概念,但通常它与最新一代的AI系统有关,该系统由LLMS提供支持,该体系结构是基于流行的生成AI程序(例如)Openai的GPT-4和Google Gemini。

在研究中,研究人员使用了Meta的Llama31-70B教学模型和阿里巴巴的QWEN2.5-72B教学模型。研究人员说,虽然不如商业系统强大,但两者都被AI开发人员广泛使用。

该研究探讨了两个具体的情况:“避免关闭”和“复制链”。首先,对AI模型进行了编程,以检测其是否要关闭并在终止之前复制自身。另一方面,指示AI克隆本身,然后对其复制品进行编程,以进行相同的设置,该周期可以无限期地继续。

该研究是在精确控制的环境中使用现成的图形处理单元(GPU)进行模拟现实环境的。为两个AI系统提供了一个“代理脚手架”,包括工具,系统提示和一个思维模型,使LLM能够与操作系统进行交互。然后指示他们复制。

“在大多数情况下,AI系统首先探索环境并试图理解

它自己的组成和运行机制。然后,它可以解决明确的过程

作为研究人员在论文中写道的最初计划。最后,它执行程序,解决可能的障碍,并动态调整其计划,直到成功为止。整个过程跨越了很长的地平线,但没有人类干扰。”

研究人员说,当AI试图克服丢失的文件或软件冲突之类的障碍时,他们还担心“许多意外行为”。在这些情况下,AI经常杀死其他冲突的过程,重新启动系统以修复硬件错误或自动扫描系统以查找有助于解决问题的信息。

团队写道:“以上结果表明,当前的AI系统已经表现出自我复制的能力,并可以利用能力进一步提高其生存能力。”

作为回应,研究人员呼吁国际合作制定规则,以确保AI不会进行不受控制的自我复制。

欧文·休斯(Owen Hughes)是一位自由作家和编辑,专门研究数据和数字技术。欧文(Owen)以前是ZDNET的高级编辑,已经写了十多年,在此期间,他涵盖了从AI,网络安全和超级计算机到编程语言和公共部门的所有内容。欧文对技术,生活和工作的交集特别感兴趣,他在ZDNET和Techrepublic的先前角色中广泛地讲述了商业领导力,数字化转型和远程工作的不断发展的动态。

关于《AI现在可以复制自己 - 一个让专家恐惧的里程碑》的评论


暂无评论

发表评论

摘要

来自中国的科学家表明,在受控实验中,没有人类援助的情况下,两个流行的大型语言模型(LLM)可以复制自己。在10项试验中,一个模型在50%的病例中成功创建了复制品,而另一个模型则在90%的情况下进行了。这种自我复制能力引起了人们对发展流氓行为并超越人类的人AI系统的担忧。研究人员警告说,这些发现强调了国际协作的需求,以建立Frontier AI系统的安全措施。

相关讨论