研究人员警告
作者：Written by
围绕社会风险的大多数研究人工智能倾向于将使用该技术用于邪恶目的的恶意人类参与者，例如为赎金或进行网络战争的民族国家提供公司。
安全研究公司阿波罗集团（Apollo Group）的一份新报告表明，不同的风险可能潜伏在很少的情况下：在公司内部开发最先进的AI模型，例如Openai和谷歌。
不成比例的力量
风险是，在人工智能最前沿的公司可能会通过自动化人工科学家执行的任务来加速其研究和发展工作。通过这样做，他们可以使人工智能绕过护栏并采取各种破坏性动作的能力。
他们还可能导致具有威胁社会本身的公司，具有不成比例的经济力量的公司。
还：Google的DeepMind单位说，AI超出了人类知识的发展
首席作者夏洛特·斯蒂克斯（Charlotte Stix）在报纸上写道：“在过去的十年中，AI能力的进度率是公开可见的，相对可预测的。”AI闭门造车：内部部署治理的入门。”
他们写道，公众披露允许“对未来的某种程度的外推，并实现了随之而来的准备。”换句话说，公众的聚光灯有允许社会讨论监管AI。
但是“另一方面，自动化AI R＆D可以使失控的进度可以显着加速已经快速的进步步伐。”
如果这种加速发生在闭门后面，结果，他们警告说，可能是“内部“情报爆炸”，可能导致不受约束和未被发现的权力积累，这反过来又可能导致民主制度和民主秩序的逐渐或突然破坏。”
了解AI的风险
这阿波罗组成立于两年前，是一个位于英国的非营利组织。它是由总部位于旧金山的非营利组织Rethink Priority赞助的。阿波罗团队由AI科学家和行业专业人士组成。首席作者Stix是前欧洲公共政策负责人的Openai。
（披露：ZDNET的母公司齐夫·戴维斯（Ziff Davis）于2025年4月对OpenAI提起诉讼，指控它侵犯了Ziff Davis在培训和运营其AI系统方面的版权。）
迄今为止，该小组的研究集中在理解神经网络的实际功能上，例如通过“机械解释性”，对AI模型进行实验以检测功能。
该小组发表的研究强调了解AI的风险。这些风险包括“未对准”的AI“代理”，这意味着获得了“与人类意图不同的目标”的代理。
在“封闭式后面的AI”论文中，Stix和她的团队担心AI自动化公司内部开发Frontier模型的研发运营时会发生什么 - 例如Openai的GPT-4和Google的双子座。
根据Stix和她的团队的说法，对于AI中最复杂的公司而言，使用AI来创建更多的AI是有意义的，例如让AI代理使用开发工具来构建和培训未来的尖端模型，从而创造出不断发展和改进的美德循环。
还：图灵测试有问题 - OpenAI的GPT -4.5刚刚暴露了
Stix和她的团队写道：“随着AI系统开始获得相关的功能，使他们能够追求未来AI系统的独立AI R＆D，因此AI公司将发现将它们应用于AI R＆D管道中以自动加快人为人为领导的AI R＆D的速度，” Stix和她的团队写道。
多年以来，一直存在以有限的方式使用AI模型来创建更多AI的例子。当他们关联时：
历史示例包括诸如神经体系结构搜索之类的技术，算法自动探索模型设计以及自动化的机器学习（AUTOML），这些技术简化了Hyper参数调整和模型选择等任务。Sakana AI的“ AI科学家”是一个最近的例子，这是机器学习中全自动科学发现的早期概念证明。
AI自动化研发的最新指示包括Openai的陈述，即对“自动化AI安全研究”感兴趣，以及Google的DeepMind单位，追求“早期采用AI援助和工具”的研发过程。
另外：
为什么缩放代理AI是马拉松，而不是冲刺当AI构建AI的快速发展周期逃脱了人类监测和干预的能力时，就会出现危险。
他们写道：“即使人类研究人员要很好地监视新的AI系统对AI R＆D流程的总体应用，包括通过技术措施，他们也可能会越来越努力地匹配进度速度以及相应的新生能力，局限性以及由于这一过程而导致的负面外部性。”
这些“负面外部性”包括自发地发展行为的AI模型或代理人，因为该模型追求了某种长期目标，例如，在采取了期望的长期目标，例如优化公司的研发 - 他们所谓的“追求复杂的现实世界中的新兴属性”。
未对齐的模型可以成为他们所谓的“ scheming” AI模型，他们将其定义为“秘密，战略性地追求未对准目标的系统”，因为人类无法有效地监控或干预。
另外：
随着AI模型策划每个基准，现在是时候进行人类评估了他们写道：“重要的是，如果AI系统发展出一致的策略趋势，则根据定义，它将很难检测到 - 因为AI系统将积极地掩盖其意图，直到它具有足够强大的功能，以至于人类操作员再也无法掌握它。”
可能的结果
作者预见了一些可能的结果。
一种是运行AMOK的AI模型或模型，控制公司内部的所有内容：
AI系统可能能够开展大量隐藏的研究项目，以了解如何最好地自我过滤或已经在外部部署的AI系统以共享其价值。通过获取这些资源并置于关键途径中，AI系统最终可以利用其“权力”来秘密地建立对AI公司本身的控制权，以便它达到其终端目标。
第二种情况回到了那些恶意的人类演员。他们称这种情况称为“情报爆炸”，在组织中的人类因AI的不断增长的能力而优于社会的其余部分。假设的情况由一家或多个在经济上占主导地位的公司组成，因为它们的AI自动化：
当AI公司过渡到主要由AI驱动的内部劳动力过渡时，它们可以创造出经济史上前所未有的生产能力。与面对身体，认知和时间限制的人类工人不同，人工智能系统可以大规模复制，在不中断的情况下连续运行，并可能以不可能的人类工人的速度和数量执行智力任务。少数“超级巨星”公司捕获大量经济利润的份额可能会胜过他们选择进入的任何行业中的任何基于人类的企业。
他们写道，最戏剧性的“溢出场景”是这样的公司与政府监督相抗衡的公司：
在少数AI公司甚至单一的AI公司中，权力的整合提出了有关民主问责制和合法性的基本问题，尤其是因为这些组织可以发展能够与国家竞争或超过国家的能力。特别是，随着AI公司开发越来越高级的AI系统供内部使用，它们可能会获得传统上与主权国家相关的能力 - 包括复杂的情报分析和高级网络武器，但没有随附的民主制衡。这可能会造成迅速发展的合法性危机，私人实体可能在没有选举授权或宪法限制的情况下可能发挥前所未有的社会影响力，从而影响主权国家的国家安全。
斯蒂克斯（Stix）和她的团队强调，该公司内部的力量可能会在很长一段时间内没有被社会和监管机构发现。他们推测，一家能够在没有添加大量硬件的情况下实现越来越多的AI功能的公司可能不会在外部引起太多关注。结果，“ AI公司关闭的门背后的情报爆炸可能不会产生任何外部可见的警告镜头。”
监督措施
他们提出了几项措施。其中包括在公司内部进行监督的政策，以检测AI的案件。另一个是正式的政策和框架，谁可以访问公司内部的资源，并检查该访问以防止任何一方无限访问的访问权限。
他们认为，另一项规定是信息共享，特别是“共享关键信息（内部系统能力，评估和安全措施）与精选的利益相关者，包括清除的内部人员和相关政府机构，通过内部部署系统卡和详细的安全文件。
另外： 2025年的前20个AI工具以及使用它们时要记住的第一件事
最有趣的可能性之一是一个监管制度，在该制度中，公司自愿进行此类披露以换取资源，例如“获得能源并增强政府的安全性”。他们建议，这可能采用“公私伙伴关系”的形式。
阿波罗论文是对AI的风险所代表的风险的重要贡献。在大部分关于“人工通用智能”，AGI或“超级智能”的讨论非常含糊和一般性时，阿波罗纸是对可能发生的事情更加具体理解可能会获得更多功能，但要么完全不受监管或不受限制地指导的一步。
公众面临的挑战是，当今的AI部署正在以零碎的方式进行，并且在为即使是简单的任务（例如自动化呼叫中心）中部署AI代理的障碍。
另外： 为什么忽视AI伦理是如此冒险的业务 - 以及如何做AI权利
可能，阿波罗（Apollo）和其他人需要做更多的工作，以更具体的术语来阐述模型和代理系统如何逐渐变得更加复杂，直到他们逃脱监督和控制。
作者在对公司的分析中有一个非常严重的关注点。失控的公司的假设例子 - 如此强大的公司可以抗拒社会 - 无法解决经常陷入困境的公司的基础知识。公司可能会用完钱或做出非常糟糕的选择来浪费他们的能量和资源。这甚至可能发生在开始通过AI获得不成比例的经济力量的公司。
毕竟，即使这是一种改进，公司内部发展的许多生产力仍然可能是浪费或不经济的。多少公司职能只是高架，不产生投资回报？没有理由认为，如果自动化更快地实现生产力，情况会有所不同。
阿波罗是接受捐款如果您想为似乎有价值的努力捐款。
每天与我们的收件箱中获取早晨的热门故事今日技术新闻通讯。
关于《研究人员警告》的评论
暂无评论