Sam Altman 退出 OpenAI 人工智能安全委员会,以建立“独立”监督 - 计算机世界

2024-09-18 02:12:29 英文原文

这位备受争议的首席执行官已不再负责指导公司的人工智能安全准则,而是让第三方专家推动透明度、协作和安全性的发展。

OpenAIs 首席执行官 Sam Altman 已辞职该公司于 5 月成立了一个内部委员会,该委员会负责监督与 OpenAI 人工智能 (AI) 模型开发和部署相关的关键安全决策。该公司周一在一篇博客文章中透露,成为一个专注于安全和安保的独立董事会监督委员会,由新任主席、卡内基梅隆大学计算机科学学院机器学习系主任 Zico Kolter 领导。Kolter 接替了同样离职的委员会前主席 Bret Taylor。

该委员会的其他成员仍然留任,主要负责监督指导 OpenAIs 模型开发和部署的安全流程:Adam DAngelo,Quora 联合创始人兼首席执行官;退役美国陆军将军保罗·中曾根;以及索尼公司前执行副总裁兼总法律顾问 Nicole Seligman。

正是这个在 Kolters 领导下的委员会审查了 OpenAI 用于评估 OpenAI o1 是否适合发布的安全标准,如下:该帖子称,以及该模型的安全评估结果。OpenAI o1 是该公司最新的大语言模型 (LLM) 系列,引入了高级推理,该公司称其在物理、化学和生物问题的基准上超过了人类博士,甚至在数学和编码方面排名很高。

提高透明度、协作和监控

OpenAI 为委员会未来的使命提出了建议:建立人工智能安全和保障的独立治理;加强安全措施;提高 OpenAI 工作的透明度;与外部组织合作;并统一公司模型开发和监控的安全框架。

我们致力于不断改进我们发布高性能和安全模型的方法,并重视安全和安保委员会在塑造 OpenAI 未来方面将发挥的关键作用” 该帖子称。

事实上,人工智能安全,尤其是 OpenAI 对其的管理,已经成为各个行业利益相关者和立法者非常关注的问题。

Altman 成为了一名在成立 OpenAI 后不久,他就成为了一个有争议的人物,他在去年年底突然被赶出公司并随后重返公司,以及随后发生的幕后交易和人事变动,很快导致了这位首席执行官的臭名昭著。

这段旅程的亮点包括 OpenAI 获得了微软 130 亿美元的投资,微软将 OpenAI 技术用于其生成式人工智能工具 Copilot,并在意识形态上打破了特斯拉的埃隆·马斯克 (Elon Musk) 的意识形态,后者是一位颇具争议的人。他本人就是 OpenAI 的创始董事会成员和投资者之一。马斯克最终起诉 OpenAI 和 Altman 违反其创立使命。

在 Altman 领导下,OpenAI 技术的安全性也受到质疑,此前有报道称该公司涉嫌使用非法保密协议并要求员工透露他们是否曾与当局联系,以此掩盖与人工智能开发相关的任何安全问题。

Computerworld Smart Answers

了解更多

此举的影响Everest Group 实践总监 Abhishek Sengupta 指出,Altmans 退出 OpenAI 安全委员会将对仍处于起步阶段的人工智能治理产生什么影响(如果有的话),还有待观察。

然而,他告诉 Computerworld,这似乎表明该公司认识到人工智能治理工作中立性的重要性,并且可能愿意更加开放地管理人工智能安全和安全风险。

森古普塔表示,虽然快速创新的需求给人工智能的治理带来了压力,但政府日益严格的审查和公众抵制的风险正逐渐使其重新成为人们关注的焦点。我们很可能会越来越多地看到独立第三方参与人工智能治理和审计。

摘要

这位备受争议的首席执行官已经放弃了指导公司人工智能安全指南的角色,让第三方专家推动透明度、协作和安全的发展。OpenAIs 首席执行官 Sam Altman 辞去了该公司 5 月份创建的内部委员会联席主任的职务,该委员会负责监督与 OpenAIs 人工智能 (AI) 模型开发和部署相关的关键安全和安保决策。马斯克最终起诉 OpenAI 和 Altman 违反其创立使命。森古普塔表示,虽然快速创新的需求给人工智能的治理带来了压力,但政府日益严格的审查和公众抵制的风险正逐渐使其重新成为人们关注的焦点。我们很可能会越来越多地看到独立第三方参与人工智能治理和审计。