OpenAI 解散了另一个安全团队，“AGI Readiness”首席顾问辞职

他写道，他的主要原因是机会成本变得太高，他认为他的研究在外部会更具影响力，他希望减少偏见，而且他已经完成了他在 OpenAI 的目标。

通用人工智能（AGI）是人工智能的一个分支，追求在广泛的任务上等于或超越人类智力的技术。AGI 是一个备受争议的话题，一些领导人表示我们已经接近实现这一目标，而另一些人则表示这根本不可能。Brundage 在他的帖子中还写道，“OpenAI 和任何其他前沿实验室都还没有准备好，世界也还没有准备好。”

布伦戴奇表示，他计划创办自己的非营利组织，或加入现有的非营利组织，专注于人工智能政策研究和倡导。

他说：“如果没有共同努力，人工智能就不可能尽可能安全和有益。”

根据 Brundage 的帖子，前 AGI 准备团队成员将被重新分配到其他团队。

OpenAI 发言人告诉 CNBC：“我们完全支持迈尔斯在行业之外进行政策研究的决定，并对他的贡献深表感谢。”

“他计划全力投入人工智能政策的独立研究，这使他有机会在更广泛的范围内产生影响，我们很高兴从他的工作中学习并跟踪其影响。我们对他的新角色充满信心迈尔斯将继续提高行业和政府决策的质量标准。”

5月，OpenAI解散了 Superalignment 团队— OpenAI 表示，该组织的重点是“科学和技术上的突破，以引导和控制比我们聪明得多的人工智能系统”，以防止它们“失控” — — 就在该组织成立一年后，一位知情人士透露当时的情况已向 CNBC 证实。

AGI Readiness 团队解散的消息发布之前，OpenAI 董事会可能计划将公司重组为营利性企业，三名高管（首席技术官 Mira Murati、研究主管 Bob McGrew 和研究副总裁 Barret Zoph）宣布离职。同一天九月。

十月初，OpenAI 结束了热闹的融资轮估值为 1570 亿美元，其中包括该公司从众多投资公司和大型科技公司筹集的 66 亿美元。它还获得了40亿美元循环信贷额度使其流动性总额超过100亿美元。公司预计约50亿美元CNBC 9 月份向一位知情人士证实，公司今年营收亏损 37 亿美元。

九月，OpenAI 宣布该公司于 5 月份设立的安全与安保委员会是为了处理安全流程方面的争议，该委员会将成为一个独立的董事会监督委员会。它最近结束了为期 90 天的审查，评估 OpenAI 的流程和保障措施，然后向董事会提出建议，调查结果也公开发布 博客文章。

在高管离职和董事会变动的消息传出之前，今年夏天围绕 OpenAI 的安全担忧和争议不断加剧， 谷歌，一个 微软，一个 元和其他公司掌舵 生成式人工智能军备竞赛——预计市场最高 1 万亿美元十年内收入增长——似乎每个行业的公司都急于添加人工智能驱动的聊天机器人和代理，以避免 被抛在后面由竞争对手。

7月，OpenAI重新分配亚历山大·马德里知情人士当时向 CNBC 证实，OpenAI 的一名高级安全主管被调往专注于人工智能推理的工作。

根据普林斯顿大学 AI 计划网站上 Madry 的简介，Madry 是 OpenAI 准备工作的负责人，该团队“负责跟踪、评估、预测并帮助防范与前沿 AI 模型相关的灾难性风险”。OpenAI 当时告诉 CNBC，Madry 在新职位上仍将从事核心人工智能安全工作。

在做出重新分配 Madry 的决定的同时，民主党参议员致信 OpenAI 首席执行官 Sam Altman，内容涉及“有关 OpenAI 如何解决新出现的安全问题的问题”。

CNBC 看到的这封信还表示，“我们向 OpenAI 寻求更多信息，了解该公司为履行其公开安全承诺而采取的步骤、该公司如何内部评估其在这些承诺方面的进展情况，以及公司识别和缓解网络安全威胁。”

微软放弃了它 OpenAI 董事会观察员席位7 月，CNBC 在一封信中写道，它现在可以辞职，因为它对这家初创公司董事会的结构感到满意，自导致抗议的起义以来，董事会已经进行了重组。 短暂的罢黜奥特曼并威胁微软对该公司的巨额投资。

但在六月份，一群现任和前任 OpenAI 员工发表了一篇 公开信描述对以下问题的担忧 人工智能尽管缺乏监督，也没有对那些愿意发声的人提供举报人保护，但该行业仍在快速发展。

“人工智能公司有强大的财务激励来避免有效的监督，我们认为定制的公司治理结构不足以改变这一点，”员工当时写道。

这封信发表几天后，一位知情人士向 CNBC 证实，联邦贸易委员会和司法部 将启动反垄断调查进入 OpenAI、微软和 英伟达，重点关注公司的行为。

FTC 主席莉娜·汗 (Lina Khan) 描述的她的机构的行动是“对人工智能开发商和主要云服务提供商之间正在形成的投资和合作伙伴关系进行市场调查”。

现任和前任员工在 6 月份的信中写道，人工智能公司拥有“大量非公开信息”，包括他们的技术可以做什么、他们采取的安全措施的程度以及技术对不同类型的风险级别的伤害。

他们写道：“我们也了解这些技术带来的严重风险。”并补充说，这些公司“目前只有微弱的义务与政府分享其中一些信息，而与民间社会则没有任何义务。我们认为它们不能全部可靠”自愿分享。”

OpenAI 的 Superalignment 团队， 宣布去年 5 月解散，该组织专注于“科学和技术突破，以引导和控制比我们聪明得多的人工智能系统”。当时，OpenAI 表示将在四年内将其 20% 的计算能力投入到该计划中。

该团队在其领导人 OpenAI 联合创始人 Ilya Sutskever 和 Jan Leike 解散后解散。 宣布离开从五月份开始。

“建造比人类更聪明的机器本质上是一项危险的工作，”雷克在帖子中写道“OpenAI 代表全人类承担着巨大的责任。但在过去的几年里，安全文化和流程已经让位于闪亮的产品。”

奥特曼说当时在 X 上，他很遗憾看到 Leike 离开，而且 OpenAI 还有更多工作要做。不久之后，联合创始人格雷格·布罗克曼 (Greg Brockman) 发布X 上，布罗克曼和首席执行官发表了一份声明，声称该公司“提高了对 AGI 风险和机遇的认识，以便世界能够更好地为此做好准备。”

“我加入是因为我认为 OpenAI 将是世界上进行这项研究的最佳场所，”Leike 在他五月份的帖子中写道“然而，相当长一段时间以来，我一直与 OpenAI 领导层关于公司核心优先事项的意见存在分歧，直到我们最终达到了临界点。”

雷克写道，他认为公司的带宽应该更多地关注安全、监控、准备、安全和社会影响。

“这些问题很难解决，我担心我们无法实现这一目标，”他当时写道。“在过去的几个月里，我的团队一直在逆风航行。有时我们为[计算资源]而苦苦挣扎，完成这项重要的研究变得越来越困难。”

Leike 补充道，OpenAI 必须成为一家“安全第一的 AGI 公司”。