本周，法国主持了人工智能行动峰会在巴黎，讨论围绕人工智能（AI）的燃烧问题，例如人们如何信任AI技术以及世界如何统治它们。
包括法国，中国，印度，日本，澳大利亚和加拿大在内的60个国家签署了宣言对于包容和可持续的AI。英国和美国尤其拒绝为了签署，英国说该声明未能充分解决全球治理和国家安全，美国副总统JD Vance批评了欧洲对AI的过度法规。
批评家说峰会间隔的安全问题赞成讨论商业机会。
上周，我参加了由国际安全与道德AI协会，也在巴黎，我听到AI Luminaries Geoffrey Hinton，Yoshua Bengio，Anca Dragan，Margaret Mitchell，Max Tegmark，Kate Crawford，Joseph Stiglitz和Stuart Russell的演讲。
当我听时，我意识到政府之间对人工智能安全问题的无视，公众对不再是真实的AI的少数安慰的神话都放在了众多。
1：人工通用情报不仅仅是科幻小说
对AI的最严重的担忧，它可以对人类生存构成威胁通常涉及所谓的人工通用智能（AGI）。从理论上讲，AGI将比当前系统更先进。
AGI系统将能够学习，发展和修改自己的功能。他们将能够执行超越最初设计的任务，并最终超越人类智能。
AGI尚不存在，也不确定它会被开发。批评家经常解雇阿吉作为仅属于科幻电影的东西。结果，最关键的风险没有人认真对待，别人被认为是幻想的。
但是，许多专家认为我们是接近实现Agi。开发人员建议，他们第一次知道需要哪些技术任务实现目标。
Agi不会永远留在科幻。最终将与我们同在，并且可能比我们想象的要早。
2：我们已经需要担心当前的AI技术
考虑到最严重的风险经常与AGI有关通常是放错位置的信念我们不必太担心与当代狭窄AI相关的风险。
但是，当前的AI技术已经对人类和社会造成了重大伤害。这包括通过致命的明显机制路和航空崩溃，战争，，，，网络事件，甚至鼓励自杀。
AI系统还以更倾斜的方式造成了伤害，例如选举干扰， 这替代人类工作，，，，偏见的决策，，，，深击， 和虚假信息和错误信息。
根据麻省理工学院的AI事件追踪器，当前AI技术造成的危害是上升。迫切需要管理当前的AI技术以及将来可能出现的AI技术。
3：当代AI技术比我们想象的要聪明
第三个神话是当前的AI技术实际上并不那么聪明，因此易于控制。当讨论聊天机器人（例如Chatgpt，Claude和Gemini）背后的大型语言模型（LLM）时，通常会看到这个神话。
关于如何定义智能以及AI技术是否确切存在辩论确实是聪明的，但出于实际目的，这些是分散注意力的问题。AI系统以意想不到的方式行事并造成不可预见的风险是足够的。
例如，已经发现现有的AI技术从事大多数人对非智能实体不会期望的行为。这些包括欺骗，，，，共谋，，，，黑客，甚至采取行动确保自己的保存。
这些行为是否是智力的证据是一个毫无意义的。行为可能对人类造成伤害。
重要的是，我们拥有防止有害行为的控制。AI是愚蠢的想法，这不对任何人有帮助。
4：仅法规还不够
去年欧盟AI法案，代表世界第一的AI法律，受到广泛赞扬。它建立在已经建立的AI安全原则的基础上，以提供有关AI安全性和风险的指导。
尽管监管至关重要，但确保AI安全和有益并不是全部。法规只是确保AI安全所需的复杂控制网络的一部分。
这些控件还将包括实践，标准，研究，教育和培训，绩效衡量和评估，程序，安全和隐私控制，事件报告和学习系统等等。欧盟AI法案是朝着正确方向迈出的一步，但是仍需要大量工作才能开发出确保其工作所需的适当机制。
5：不仅仅是AI
第五，也许是最根深蒂固的神话中心，围绕AI技术本身会产生风险的想法。
人工智能技术构成了更广泛的社会技术系统的一个组成部分。还有许多其他重要组成部分：人类，其他技术，数据，人工制品，组织，程序等。
安全取决于所有这些组件及其相互作用的行为。这个系统思维哲学要求采用不同的AI安全方法。
我们需要管理交互和新兴属性，而不是控制系统单个组件的行为。
和人工智能代理在不断增加的AI系统上，具有更大的自主权和执行更多任务的能力 - 不同的AI技术之间的相互作用将变得越来越重要。
目前，几乎没有工作来研究这些相互作用以及在部署AI技术的更广泛的社会技术系统中可能出现的风险。系统内的所有交互都需要AI安全控制，而不仅仅是AI技术本身。
人工智能安全可以说是我们社会面临的最重要的挑战之一。为了解决该问题的任何地方，我们将需要共同了解实际风险。