世界“可能没有时间”为安全风险英国政府科学研究机构的一位领导人士表示，这是由尖端人工智能系统提出的。

Aria 机构的项目主管兼人工智能安全专家 David Dalrymple 告诉《卫报》，人们应该关注该技术不断增长的能力。

“我认为我们应该关注那些能够执行人类在世界上完成任务所执行的所有功能的系统，而且做得更好，”他说。“为了维持对我们的文明、社会和地球的控制，我们将在我们需要占据主导地位的所有领域中被击败。”

达尔林普尔表示，公共部门和人工智能公司对于这项技术即将突破的力量存在理解上的差距。

“我建议，事情进展得非常快，从安全角度来看，我们可能没有时间提前，”他说。“预计五年内最具经济价值的任务将由机器以比人类更高的质量和更低的成本来执行，这并不是科幻小说。”

达尔林普尔表示，政府不应假设先进系统是可靠的。Aria 受到公共资助，但独立于政府并指导研究经费。Dalrymple 正在开发系统来保护人工智能在能源网络等关键基础设施中的使用。

– 我们不能假设这些系统是可靠的。鉴于经济压力，这样做的科学不太可能及时实现。因此，我们能做的下一件最好的事情（我们也许能够及时做到）就是控制和减轻负面影响，”他说。

达尔林普尔将技术进步领先于安全的后果描述为“安全和经济的不稳定”，他表示，需要更多的技术工作来理解和控制先进人工智能系统的行为。

– 进步可能会被认为是破坏稳定，但实际上可能是好事，这正是许多前沿人士所希望的。我正在努力让事情变得更好，但风险非常高，人类文明总体上正在梦魇般地步入这一转变。”

本月，英国政府人工智能安全研究所 (AISI) 表示，先进人工智能模型的能力在所有领域都在“迅速提高”，某些领域的性能每八个月翻一番。

据该研究所称，领先模特现在平均可以在 50% 的时间内完成学徒级任务，而去年这一比例约为 10%。AISI 还发现，最先进的系统可以自主完成人类专家需要一个多小时才能完成的任务。

该研究所还测试了先进的自我复制模型，这是一个关键的安全问题，因为它涉及到一个系统将自身的副本传播到其他设备并变得更难以控制。测试显示两种尖端模型的成功率超过 60%。

然而，AISI 强调，在日常环境中不太可能出现最坏的情况，并表示任何自我复制的尝试“在现实条件下都不太可能成功”。

Dalrymple 认为，到 2026 年底，人工智能系统将能够实现相当于一整天研发工作的自动化，这将“导致能力进一步加速”，因为该技术将能够在人工智能开发的数学和计算机科学要素上进行自我改进。