“人工智能是人类历史上独一无二的技术”，美国商务部长吉娜雷蒙多周三在旧金山表示。“推进人工智能是正确的事情，但仅仅因为我们可以而不考虑后果就尽快推进，这并不是明智之举。”
雷蒙多的讲话是在就职典礼期间发表的召集国际人工智能安全研究所网络是由美国商务部和国务院汇集的来自 9 个国家以及欧盟委员会的人工智能安全研究所 (AISI) 网络。此次活动聚集了来自政府、工业界、学术界和民间社会的技术专家，讨论如何管理日益强大的人工智能系统带来的风险。
雷蒙多建议参与者牢记两条原则：“我们不能发布会危及人类的模型，”她说。– 其次，我们要确保人工智能是在为人类服务，而不是相反。 –
阅读更多：商务部长吉娜·雷蒙多 (Gina Raimondo) 如何成为美国人工智能领域的核心女性
这次会议标志着人工智能治理国际合作迈出了重要一步。第一批 AISI 在去年 11 月的首届会议期间出现人工智能安全峰会由英国主办。两者都英国。和我们。各国政府宣布成立各自的 AISI作为赋予政府评估尖端人工智能模型安全性的技术能力的一种手段。其他国家也纷纷效仿。5 月，在首尔举行的另一场人工智能峰会上，雷蒙多宣布创建该网络。
在一个联合声明人工智能安全研究所国际网络的成员（包括来自美国、英国、澳大利亚、加拿大、法国、日本、肯尼亚、韩国和新加坡的 AISI）制定了他们的使命：汇集了来自世界各地的技术专家的论坛，……根据我们机构的工作，促进对人工智能安全风险和缓解措施的共同技术理解以及更广泛的科学界，“和”……鼓励全球对人工智能安全的普遍理解和方法，这将使处于各个发展阶段的国家能够分享人工智能创新的好处。¤
在会议召开之前，担任该网络首任主席的美国 AISI 还宣布了新政府工作组重点关注该技术的国家安全风险。国家安全人工智能测试风险 (TRAINS) 工作组汇集了来自国防部、能源部、国土安全部以及卫生与公众服务部的代表。它将由美国 AISI 主持，旨在“识别、衡量和管理快速发展的人工智能技术对国家安全和公共安全的新影响”，特别关注放射和核安全、化学和安全领域。生物安全、网络安全、关键基础设施和常规军事能力。
推动国际合作之际，中美之间围绕人工智能发展的紧张局势日益加剧。缺席来自网络的报道值得关注。在为会议预先录制的讲话中，参议院多数党领袖查克·舒默强调了确保中国共产党不会“制定道路规则”的重要性。周三早些时候，中国实验室 Deepseek宣布一种新的“推理”模型被认为是第一个与 OpenAI 自己的推理模型 o1 竞争的模型，该公司表示，该模型“旨在在做出响应之前花更多时间思考”。
周二，自 2000 年以来每年向国会提供建议的美中经济与安全审查委员会建议国会建立并资助一项类似“曼哈顿计划”的计划，致力于竞相开发和获取通用人工智能 (AGI)。) 能力，– 委员会定义的因为“系统在所有认知领域都与人类的能力一样好甚至更好”，并且“在每项任务上都将超越人类最敏锐的思维。”
许多该领域的专家，例如杰弗里·辛顿今年早些时候，他因其研究成果获得了诺贝尔物理学奖工作关于人工智能，纷纷表示担忧如果通用人工智能得到发展，人类可能无法控制它，这可能会导致灾难性的伤害。在周三活动的小组讨论中，人择首席执行官达里奥·阿莫代– 谁相信类似 AGI 的系统最早可能会在 2026 年到来，并将“失去控制”的风险视为一个严重问题，此外还有未来更强大的模型被恶意行为者滥用来实施生物恐怖主义或破坏网络安全的风险。阿莫代在回答问题表达的明确支持强制执行先进人工智能系统的测试，并指出“我们还需要非常小心如何做到这一点。”
与此同时，人工智能安全领域的务实国际合作不断推进。本周早些时候，美国和英国 AISI 分享了初步信息发现来自他们对先进 AI 模型（Anthropic 的 Claude 3.5 Sonnet 的升级版）的部署前评估。评估的重点是评估模型的生物和网络能力，以及其在软件和开发任务上的表现，以及内置的保护措施的有效性，以防止模型响应有害请求。英国和美国 AISI 都发现，这些保障措施可能会被“经常规避”，他们指出，这“与之前对其他人工智能系统脆弱性的研究一致”。
旧金山会议提出了三个“迫切受益于国际合作”的优先主题：管理合成内容的风险、测试基础模型以及对先进人工智能系统进行风险评估。在会议召开之前，宣布提供 1100 万美元资金，用于支持研究如何最好地减轻合成内容（例如生成和分发儿童性虐待材料，以及促进欺诈和冒充）。该资金由多个政府机构和慈善组织提供，包括韩国和奈特基金会。
虽然目前尚不清楚唐纳德·特朗普的选举胜利将如何影响就美国 AISI 和更广泛的美国人工智能政策的未来而言，人工智能安全主题的国际合作将继续下去。英国 AISI 正在旧金山举办另一场会议会议本周，与人工智能治理中心，“加速前沿人工智能安全框架的设计和实施。”二月份，法国将主办其“人工智能行动峰会，——继 5 月在首尔和去年 11 月在英国举行的峰会之后。2025 年人工智能行动峰会将聚集来自公共和私营部门、学术界和民间社会的领导人，世界各地的参与者都在寻求随着技术能力的加速发展来管理该技术的方法。
雷蒙多周三强调，当谈到像人工智能这样快速发展和强大的事物时，将安全与创新相结合的重要性。“它有潜力取代人类思维，”她说。 – 安全有利于创新。安全孕育信任。信任加速采用。采用会带来更多创新。我们需要这种良性循环。”