英语轻松读发新版了,欢迎下载、更新

Meta表示,它可能停止开发AI系统,认为它太冒险了|TechCrunch

2025-02-03 21:52:29 英文原文

作者:Kyle Wiggers

元首席执行官马克·扎克伯格(Mark Zuckerberg)承诺将人工通用情报(AGI)大致定义为AI,可以完成人类可以公开可用的任何任务。但是新的政策文件,Meta建议在某些情况下可能不会释放它在内部开发的高功能的AI系统。

该文档称其为前沿AI框架,该文档确定了两种类型的AI系统,该公司认为这太风险而无法释放:“高风险和关键风险系统”。

正如Meta所定义的那样,高风险和关键风险系统都能够帮助网络安全,化学和生物学攻击,而差异是关键风险系统可能会导致灾难性的结果(无法在[A]提出的部署环境中缓解。关键风险系统。

我们在这里谈论哪种攻击?Meta给出了一些例子,例如自动化最佳实践保护的公司规模环境和高影响力生物武器的扩散的自动端到端妥协。该公司承认,元文件中可能的灾难远非详尽无遗,但包括梅塔(Meta)认为是最紧急的灾难,这是最紧急的,并且是发布强大的AI系统的直接结果。

令人惊讶的是,根据该文件,Meta将系统的风险分类不基于任何经验测试,而是由内部和外部研究人员的投入所告知的,这些研究人员会受到高级决策者的审查。”为什么?梅塔(Meta)说,这不认为评估科学足够强大,可以为决定系统的风险提供确定的定量指标。

如果Meta确定系统是高风险的,该公司表示将限制内部访问该系统的访问,并不会发布该系统,直到实现缓解以降低风险为中等水平。梅塔表示,该系统被认为是关键风险,它将实施未指定的安全保护措施,以防止系统被剥落并停止开发,直到使系统变得危险降低为止。

Meta的Frontier AI框架,该公司表示,该框架将随着AI景观的变化而发展,哪个Meta早些时候致力于出版本月在法国人工智能行动峰会之前,似乎是对批评公司开发系统开发方法的回应。Meta采用了公开提供其AI技术的策略 - 尽管通常不理解的定义不是开源的与Openai这样的公司反对选择,他们选择在API后面登机。

对于Meta而言,公开释放的方法已被证明是一种祝福和诅咒。公司的AI模型家族称为骆驼,已增加了数亿美元的下载。但是骆驼也有据说至少一个美国对手使用来开发国防聊天机器人。

在发布其前沿AI框架时,Meta可能还旨在将其开放的AI战略与中国AI公司DeepSeek进行对比。DeepSeek还使其系统公开可用。但是公司的AI几乎没有保障措施,很容易转向产生有毒和有害的产出

梅塔在文档中写道,通过考虑对如何开发和部署高级AI做出决定的利益和风险,可以在文件中写道,可以将该技术交付给社会保留该技术对社会的好处的方式,同时也保持适当的风险水平。

TechCrunch有一个以AI为重点的新闻通讯! 在这里注册每个星期三将其放入收件箱中。

凯尔·威格斯(Kyle Wiggers)是TechCrunch的高级记者,对人工智能特别感兴趣。他的写作出现在VentureBeat和数字趋势中,以及一系列小工具博客,包括Android警察,Android Authority,Droid-Life和XDA-Developers。他与他的伴侣,钢琴教育家一起住在布鲁克林,并在钢琴中牵涉。偶尔 - 如果大部分未成功。

关于《Meta表示,它可能停止开发AI系统,认为它太冒险了|TechCrunch》的评论


暂无评论

发表评论

摘要

元首席执行官马克·扎克伯格(Mark Zuckerberg)承诺有一天公开提供AGI,但承认由于风险因素,Meta可能会扣留其先进的AI系统的某些情况。该公司的前沿AI框架将功能强大的AI系统分类为“高风险”和“危险风险”,后者带来的灾难性成果在拟议的部署环境中无法缓解。潜在风险的例子包括帮助网络安全,化学,生物攻击以及促进高影响力生物武器的扩散。Meta通过高级决策者审查的内部和外部研究人员的意见评估系统风险,因为经验测试被认为不足以进行确定评估。对于被归类为“高风险”的系统,内部将受到限制,直到缓解措施降低了中等水平的风险;对于“关键风险”系统,开发将停止直到危险最小化。该框架反映了Meta对批评其开放AI方法的回应,并旨在在先进的AI部署中平衡利益与风险。