英语轻松读发新版了,欢迎下载、更新

OpenAI 的声誉双重打击

2024-10-24 14:50:00 英文原文

作者:David Meyer

到目前为止,最重要的案例可能是 Ed Newton-Rex,他是 Stability AI 的音频主管,去年 11 月辞职,他声称“今天的生成式 AI 模型显然可以用来创作与受版权保护的作品竞争的作品”。

他们接受训练的作品,所以我不认为使用受版权保护的作品来训练这种性质的生成人工智能模型可以被视为合理使用。”

布伦戴奇在 OpenAI 的职业生涯中发现,他的工作范围不断缩小,从开发人工智能安全测试方法和研究当前与人工智能相关的国家和国际治理问题,到专注于处理潜在的超人AGI,而不是人工智能的近期安全风险。它聘请了前奥巴马政府国家安全官员安娜·马坎朱 (Anna Makanju),她曾在 SpaceX 的 Starlink 和 Facebook 担任政策职务,负责监督其与华盛顿特区和全球各地政府官员的初步接触。

OpenAI 失去了另一位长期任职的人工智能安全研究员,并受到另一位前研究员的指控,称该公司在训练模型时违反了版权法。

这两个案例都引发了人们对 OpenAI 的方法、文化、方向和未来的严重质疑。

周三,迈尔斯·布伦戴奇(Miles Brundage)宣布他将离开公司,他目前领导的团队负责思考帮助公司和整个社会为“通用人工智能”或 AGI 的出现做好准备的政策。

六年多后,他于周五回到公司,这样他就可以在更少的限制下继续工作。

在漫长的子堆栈帖子布伦戴奇表示,OpenAI 对他在已发表的研究中可以发表的言论设置了越来越严格的限制。他还表示,通过创立或加入一个人工智能政策非营利组织,他希望能够更有效地警告人们人工智能危险的紧迫性,因为“这种效果的声明常常被视为炒作而被驳回”工业。 –

“安全值得关注”

布伦戴奇的帖子并没有对他即将成为的前雇主进行任何公开的抨击,事实上,他将首席执行官萨姆·奥尔特曼列为“对该草案早期版本提供意见”的众多人士之一。“但它确实对总体上的人工智能公司进行了详细的抱怨——不一定[给予]人工智能安全和安保默认应有的关注。”– 造成这种情况的原因有很多,其中之一是私人利益与社会利益之间的不一致,监管可以帮助减少这种不一致。布伦戴奇写道,对安全水平的可信承诺和验证也存在困难,这进一步刺激了偷工减料的行为。– 偷工减料现象发生在一系列领域,包括预防有害的偏见和幻觉产出,以及为预防即将发生的灾难性风险而进行投资。 –Brundage 的离职延续了今年 OpenAI 的一系列高调辞职,其中包括首席技术官 Mira Murati 以及该公司联合创始人兼前首席科学家 Ilya Sutskever,其中许多人是

明确或可能与该公司对人工智能安全立场的转变有关。

OpenAI 最初是作为一家开发安全人工智能的研究机构而成立的,但随着时间的推移,它需要大量的外部资金——它最近以 66 亿美元的融资额筹集了 66 亿美元的资金。估值1570亿美元– 已逐渐将天平向营利性方向倾斜,这可能很快就会

正式成为

OpenAI 的主要结构组件。联合创始人 Sutskever 和 John Schulman 今年双双离开 OpenAI,以加强对安全 AI 的关注。Sutskever 创立了自己的公司,Schulman 加入了 OpenAI 的主要竞争对手 Anthropic,Sutskever 的一位重要同事 Jan Leike 也加入了,他宣称“在过去的几年里,[OpenAI] 的安全文化和流程已退居二线”闪亮的产品。 –到了八月,情况已经很明显了

大约一半

近几个月来,OpenAI 的 3 名专注于安全的员工已经离职,而穆拉蒂 (Murati) 则戏剧性地离职了,穆拉蒂经常发现自己必须裁决公司安全第一的研究人员和更积极的研究人员之间的争论。商业团队,如财富

报道。

例如,据知情人士透露,在该公司强大的 GPT-4o 模式推出之前,OpenAI 的员工只有 9 天的时间来测试该模式的安全性。

布伦戴奇表示,他领导的 AGI 准备团队将被解散,其工作人员将“分散到其他团队中”,这是 OpenAI 重点转向安全性的又一迹象。其经济研究子团队正在成为他说,这是新任 OpenAI 首席经济学家罗尼·查特吉 (Ronnie Chatterji) 的责任。他没有具体说明如何重新部署其他工作人员。

还值得注意的是,布伦戴奇并不是 OpenAI 中第一个因希望发表的研究而面临问题的人。

去年,OpenAI 注重安全的董事会戏剧性地短暂罢免了 Altman,之后,出现了奥特曼此前曾向当时的董事会成员海伦·托纳 (Helen Toner) 提出这一问题,因为她与人合着了一篇含蓄批评该公司的人工智能安全论文。

不可持续的模式

周三的另一则报道也加剧了人们对 OpenAI 文化和方法的担忧。

纽约时报

携带一个

Suchir Balaji 的主要作品

是一位人工智能研究员,在 OpenAI 工作了近四年,然后于 8 月离开。Balaji 表示,他离开是因为他意识到 OpenAI 利用网络上受版权保护的数据训练模型的方式违反了版权法,而且他认为 ChatGPT 这样的聊天机器人对社会弊大于利。再次强调,OpenAI 从研究机构到摇钱树的转变是这里的核心。– 一般来说,通过研究项目,您可以对任何数据进行训练。这就是当时的心态,”巴拉吉告诉媒体

时代。

现在,他声称人工智能模型威胁到了最初生成这些数据的企业的商业生存能力,并表示:“对于整个互联网生态系统来说,这不是一个可持续的模型。”

OpenAI 及其许多同行因该培训而被版权所有者起诉,该培训涉及复制大量数据,以便公司的系统能够摄取数据并从中学习。

这些人工智能模型不被认为包含数据的完整副本,它们很少根据用户的提示输出接近的副本,这是诉讼通常针对的最初的、未经授权的复制。

此类案件中的标准辩护是,被指控侵犯版权的公司辩称,他们使用受版权保护的作品的方式应构成“合理使用”,即版权并未受到侵犯,因为这些公司将受版权保护的作品转化为其他东西

关于《OpenAI 的声誉双重打击》的评论


暂无评论

发表评论