我在巴黎遇到了“ AI的教父” - 这是他们告诉我真正担心的|亚历山大·赫斯特

在我十几岁的时候是一位技术，有时希望我出生于2090年，而不是1990年，这样我就可以看到未来的所有令人难以置信的技术。但是，最近，我对我们与我们最多互动的技术是否真正为我们服务，还是我们为之服务，这变得更加持怀疑态度。

因此，当我收到邀请参加有关发展的会议时安全和道德的人工智能在领导巴黎AI峰会，我已经准备好听听菲律宾记者玛丽亚·雷萨（Maria Ressa）2021年诺贝尔和平奖获得者，谈论大型技术的有罪不罚，使其网络被虚假信息，仇恨和操纵以对选举产生非常真实，负面影响的方式淹没。

但是我不准备听听Aiâ的一些教父，例如Yoshua Bengio，Geoffrey Hinton，Stuart Russell和Max Tegmark，谈论事情可能会离轨道更远。他们担心的中心是参加AGI的竞赛（人工通用情报，尽管Tegmark认为A应该指的是“自治”），这意味着这是生活中第一次在生活史上第一次地球，除了人类同时拥有高度自主权，高通用和高智慧的人以外，还有一个实体，这可能会发展出与人类福祉的未对准的目标。也许这将是国家安全战略的结果，或者不惜一切代价寻求公司利润。

Tegmark告诉我，今天我们不必担心这不是我们需要担心的。就像您在1942年采访我一样，您问我：为什么人们担心核武器竞赛？除了他们认为他们认为他们是在军备竞赛中，这实际上是一场自杀竞赛。它想到了罗纳德·D·摩尔（Ronald D Moore）的2003年重新构想太空堡垒卡拉蒂卡（Battlestar Galactica），其中公共关系官员向记者展示了新闻工作者：“看起来奇怪甚至过时的事物，例如带有绳索，笨拙的手动阀，笨拙的手机，笨拙的眼睛，

几乎不值得这个名字的计算机。这一切都是为了对抗一个可以渗透和破坏除最基本的计算机系统以外的敌人的行动。

也许我们需要一个新的缩写词，我想。我们应该谈论自我，而不是相互保证的破坏 - 彻底强调的破坏：悲伤！甚至可能突破唐纳德·特朗普的首字母缩写词。

我们在地球上可能会失去对AGI的控制，然后将我们换成科幻小说，但是考虑到AI发展的指数增长，这真的很牵强吗？正如班吉奥指出的那样，一些最先进的AI模型已经试图欺骗人类程序员在测试过程中，无论是追求其指定目标还是逃脱被删除或替换为更新。

当人类克隆的突破在科学家范围内时，生物学家一起来斯图尔特·罗素（Stuart Russell）说，并同意不追求它教科书在AI上。同样，Tegmark和Russell都赞成对AGI追求的暂停，并且比较分层的风险方法比欧盟的AI行为``与药物批准过程一样，高风险层中的AI系统必须向监管机构证明他们不会越过某些红线，例如能够将自己复制到其他计算机上。

但是，即使会议似乎对这些未来驱动的恐惧有所加权，但在AI安全和道德专家中，来自行业，学术界和政府参加的领先的AI安全和道德专家也存在明显的分歧。如果教父担心Agi，那么一个年轻，更多样化的人群就在努力将同等的重点放在AIS已经对气候和民主构成的危险上。

我们不必等待AGI自己决定，以更快地淹没世界，以更快地发展自己的发展。或者，要使AGI自行决定操纵选民，以便将政客放松管制议程，这再次是唐纳德·特朗普和埃隆·马斯克已经在追求。即使在当前的早期阶段，它的能源用途也是灾难性的：根据凯特·克劳福德（Kate Crawford）的说法，AI和正义的访问主席在âcole and Normalesupérrieur的AI和司法主席中，数据中心已经占所有占所有的6％以上美国和中国的电力消耗，需求只会不断增长。

``我们需要政策制定者和政府都将主题视为互斥的，而是两者兼而有之。我们应该优先考虑经验驱动的问题，例如已经具有切实解决方案的环境伤害。

为此，AI和气候领先的Sasha Luccioni在Hugging Face上 - 开源AI Models的协作平台本周宣布，该初创公司已推出了一个AI能量得分，在完成不同任务时，在其能耗上排名166个模型。该初创公司还将提供一到五星级的评级系统，与欧盟的家用电器能源标签相当，以指导用户采取可持续选择。

罗素说：``世界上的科学预算，还有我们在AI上花费的钱。”罗素说。``我们本可以做一些有用的事情，取而代之的是，我们将资源投入到这场比赛中以脱离悬崖的边缘。大约$ 1Tn英寸人工智能投资 一直是 宣布 ，当世界仍然远远远远远远远远远远远远超出了供暖2摄氏度之内，远远少于1.5c。似乎我们有一个萎缩的机会，可以为公司创建真正受益于我们个人和集体生活的AI的激励措施：可持续，包容，民主兼容，受到控制。

除了法规之外，要确保在整个AI发展中存在着一种参与文化，正如经合组织技术与民主的顾问ElonâseGabadou所说。

在会议结束时，我对拉塞尔说，我们似乎正在利用令人难以置信的能量和其他自然资源来直接竞争我们可能首先要创建的东西，并且相对良性的版本从许多方面来说，已经与我们真正想要生活的社会失错了。

是的，他回答。

• 亚历山大·赫斯特（Alexander Hurst）是监护人欧洲专栏作家