2025年2月17日
经过：亚伦·奥珀利（Aaron Aupperlee）
电子邮件媒体查询
姓名
亚伦·奥珀利（Aaron Aupperlee）标题
计算机科学学院
姓名
卡西亚·克罗根（Cassia Crogan）标题
大学传播与营销
Zico Kolter（在新窗口中打开）将解决关键的人工智能安全问题作为新的AI安全科学计划（在新窗口中打开）由Google前首席执行官Eric Schmidt建立。
科尔特，负责人机器学习部门（在新窗口中打开）在卡内基·梅隆大学的计算机科学学院，将探索对抗转移的原因 - 一种现象，其中为一种AI模型开发的攻击在应用于其他模型时也有效。
Kolter的工作长期以来一直关注AI系统的安全性和鲁棒性。研究于2023年发表（在新窗口中打开）展示了如何绕过诸如Chatgpt，Claude和Google Bard等流行系统中的AI AI Safety护栏。Kolter现在是Chatgpt的开发商Openai董事会成员。
科尔特说：“我们很高兴与施密特科学合作，对AI安全性和鲁棒性的基本科学挑战进行研究。”
施密特科学公司（Schmidt Sciences）由施密特（Schmidt）和他的妻子温迪（Wendy）创立，他创立了AI安全科学，使安全科学成为AI创新不可或缺的一部分，并提供了1000万美元以支持基础研究。该计划将培养一个合作的全球研究界，并提供来自AI安全中心（在新窗口中打开）和API访问Openai（在新窗口中打开）。
AI安全科学计划选出了27个项目，旨在开发基础科学，以了解AI系统的安全性能至关重要，称研究领域的资金不足。最初的项目旨在开发有充分的，具体的，可实施的技术方法来测试和评估大型语言模型（LLMS），以便造成伤害，犯错或被滥用的可能性较小。
埃里克·施密特（Eric Schmidt）说：“随着AI系统的发展，我们面临的风险是它们将以与人类价值观和利益相矛盾的方式行事，但这种风险并非不可避免。”“通过诸如AI安全科学计划之类的努力，我们可以帮助建立一个未来，在该未来中，AI使我们所有人都受益，同时维护保护我们免受伤害的保障措施。”
今年晚些时候，AI安全科学计划将在加利福尼亚州召集其获奖者，在那里他们将与对AI安全感兴趣的组织相互分享。该计划还计划其他呼吁提出提案，以将新的获奖者带入该计划。了解有关该计划和获奖者的更多信息AI安全科学网站（在新窗口中打开）。