约书亚·本吉奥 (Yoshua Bengio) 在我们机器学习系统的开发中发挥了至关重要的作用今天见。现在，他说它们可能对人类构成生存风险。
约书亚·本吉奥 (Yoshua Bengio) 是人工智能 (AI) 领域被引用最多的研究人员之一。作为创建人工神经网络和深度学习算法的先驱，Bengio 与 Meta 首席人工智能科学家 Yann LeCun 和前谷歌人工智能研究员 Geoffrey Hinton 一起获得了 2018 年图灵奖（被誉为计算界的“诺贝尔”）。
然而，本吉奥经常与其他图灵奖获得者一起被称为人工智能“教父”之一，但现在他对其技术的开发和采用速度感到不安。他认为人工智能可能会破坏社会结构，并给人类带来意想不到的风险。现在，他是高级人工智能安全国际科学报告的主席，该报告是一个由 30 个国家、欧盟和联合国支持的咨询小组。
《Live Science》在会上通过视频通话与 Bengio 进行了交谈。在伦敦的 HowTheLightGetsIn 音乐节上，他讨论了机器意识的可能性以及这项新兴技术的风险。以下是他不得不说的内容。
Ben Turner：您在开发人工神经网络方面发挥了极其重要的作用，但现在您呼吁暂停其开发，并正在研究监管它们的方法。是什么让你要求暂停你一生的工作？
Yoshua Bengio：反对你自己的教会很难，但如果你理性地思考事情，就没有办法否认灾难性结果的可能性当我们达到人工智能的水平时。我之所以改变立场，是因为在那一刻之前，我明白有些情况是糟糕的，但我认为我们会解决它。
但正是考虑到我的孩子和他们的未来，才让我做出了改变。我决定必须采取不同的行动，尽我所能来减轻风险。
BT：您是否认为有责任减轻其最严重的影响？有什么事情让您感到沉重吗？
将世界上最引人入胜的发现直接发送到您的收件箱。
YB：是的，我愿意。我感到有责任，因为我的声音因我的科学工作得到认可而产生了一些影响，所以我觉得我需要大声疾呼。我参与其中的另一个原因是，如果我们要弄清楚如何通过人工智能的建设不伤害人们，那么重要的技术解决方案是更大的政治解决方案的一部分。
公司会很高兴包括这些技术解决方案，但现在我们不知道如何去做。他们仍然希望通过人工智能达到人类水平来获得预测的千万亿利润，所以我们处于不利地位，我们需要找到科学答案。
我经常使用的一个图像是，它是就像全人类都在一条我们不太熟悉的道路上行驶，我们前面有一片迷雾。我们正朝着那个雾气前进，我们可能在山路上，可能有一个非常危险的山口，我们看不清楚。
那么我们该怎么办？我们是继续前进，希望一切都会好起来，还是尝试提出技术解决方案？政治解决方案要求应用预防原则：如果不确定，就放慢速度。技术解决方案表明，我们应该想出穿透迷雾的方法，或许还可以为车辆配备防护措施。
BT：那么从短期和长期来看，机器学习带来的最大风险是什么？，对人类？
YB：人们总是说这些风险是科幻小说，但事实并非如此。短期内，我们已经看到人工智能被用于美国大选，而且情况只会变得更糟。最近的一项研究表明，ChatGPT-4 在说服方面比人类好得多，而新版本的 ChatGPT-4 会更差。
还对这些系统如何进行测试可以帮助恐怖分子。最近的 ChatGPT o1 已将这种风险从低风险转变为中等风险。
如果你进一步看下去，当我们达到超级智能的水平时，存在两个主要风险。第一个是人类失去控制，如果超级智能机器有自我保护的目标，它们的目标可能是毁灭人类，这样我们就无法将它们关闭。
另一个危险，如果第一种情况不知怎的，人类利用人工智能的力量在世界范围内的独裁统治中控制了人类。你可以拥有更温和的版本，它可以存在于一定范围内，但这项技术将为控制它的人提供巨大的力量。
BT：欧盟已经颁布了一项人工智能法案，拜登也颁布了一项人工智能法案他关于人工智能的行政命令。各国政府应对这些风险的能力如何？他们的反应是朝着正确的方向还是偏离了目标？
YB：我认为他们是朝着正确的方向迈出的一步。例如，拜登的行政命令是白宫在那个阶段可以做的，但它没有影响，它不会强迫公司分享他们的测试结果，甚至不会做这些测试。
我们需要摆脱这种自愿因素，公司实际上必须制定安全计划，披露测试结果，如果他们不遵循最先进的技术来保护公众，他们可能会被起诉。我认为这是目前立法方面最好的建议。
BT：目前，神经网络有很多令人印象深刻的应用。但他们仍然存在问题：他们在无监督学习中挣扎，并且不能很好地适应训练数据中很少出现的情况，而他们需要消耗大量的训练数据。当然，正如我们在自动驾驶汽车中看到的那样，这些故障也会产生其自身的风险？
YB：首先，我想纠正你在这个问题中所说的一些话：它们是非常擅长无监督学习，基本上他们就是这样训练的。他们以无监督的方式接受训练，只是吃掉你提供给他们的所有数据并试图理解它，这就是无监督学习。这就是所谓的预训练，在你给他们任务之前，你就让他们理解所有他们能理解的数据。
至于他们需要多少数据，是的，他们需要的数据比人类多得多确实如此，但有人认为，进化需要比这更多的数据才能得出我们大脑中的细节。所以很难进行比较。
我认为他们需要多少数据，我们还有改进的空间。从政策角度来看，重要的一点是我们已经取得了巨大的进步，人类的智力和能力之间仍然存在巨大的差距，但目前还不清楚我们能在多大程度上弥补这一差距。政策应该为未来五年左右的情况做好准备。
BT：在这个数据问题上，GPT 模型已被证明在消耗足够多的自身数据时会发生模型崩溃内容。我知道我们已经谈到了人工智能变得超级智能和变得无赖的风险，但是如果我们变得依赖人工智能，它会剥夺行业的就业机会，它会退化和崩溃，然后我们就只能承担起更滑稽的反乌托邦的可能性呢？
YB：是的，我不担心它们生成的数据崩溃的问题。如果你致力于[向系统提供]合成数据，并且以人们理解的方式巧妙地做到这一点。你不会只是要求这些系统生成数据并对其进行训练，从机器学习的角度来看，这是毫无意义的。
利用合成数据，你可以让它与自己竞争，并且它会生成有助于帮助的合成数据。它会做出更好的决定。所以我并不害怕。
但是，我们可以制造出具有我们无法预料的副作用的机器。一旦我们依赖它们，就很难戒掉，甚至可能失去控制。如果这些机器无处不在，并且它们控制了社会的很多方面，并且它们有恶意
[在这些系统中]就有欺骗能力。有很多未知的未知因素可能会非常非常糟糕。所以我们需要小心。
BT：《卫报》最近报道称，谷歌、苹果、Meta 和微软的数据中心排放量可能比他们声称的高出 662%。彭博社还报道称，人工智能数据中心正在推动美国化石燃料基础设施的复兴。人工智能近期真正的危险是否是我们在开发人工智能时对气候造成的不可逆转的损害？
YB：是的，完全是，这是一个大问题。就人类灭绝的风险而言，我不会说这与人工智能造成的重大政治混乱相提并论，但这是非常严重的事情。
如果你看一下数据，就会发现所需的电量训练最大模型的数量每年呈指数级增长。这是因为研究人员发现，模型越大，它们就越聪明，赚的钱也就越多。
这里重要的是，这种智能的经济价值将非常巨大，以至于支付 10对于那些参加比赛的人来说，电力的价格并不是问题。这意味着我们都将为电支付更多费用。
如果我们遵循趋势，除非发生变化，否则地球上产生的大部分电力将消失来训练这些模型。当然，它不可能全部来自可再生能源，而是因为我们正在从地下开采更多的化石燃料。这很糟糕，这是我们应该放慢速度的另一个原因，但并不是唯一的原因。
BT：一些人工智能研究人员对机器实现通用人工智能 (AGI) 的危险表示担忧这个领域有争议的流行语。然而托马斯·迪特里希（Thomas Dietterich）等人则表示，这个概念不科学，人们应该不好意思使用这个术语。在这场争论中，您的立场如何？
YB：我认为谈论某些领域的能力是相当科学的。这就是我们所做的，我们一直在进行基准测试并评估特定功能。
当我们询问这一切意味着什么（就一般智能而言）时，事情就变得危险了。但我认为这是一个错误的问题。我的问题是，在足够智能、具有特定功能的机器中，什么会使它们对我们造成危险？它们可以用于网络攻击吗？设计生物武器？说服人？他们是否有能力在其他机器或互联网上复制自己，这与开发人员的意愿相反？
所有这些都很糟糕，只要这些人工智能拥有这些能力的子集就足够了危险的。这没有什么模糊之处，人们已经在为这些能力建立基准，因为我们不希望机器拥有它们。英国和美国的人工智能安全研究所正在研究这些事情，并正在测试这些模型。
BT：我们之前谈到过这个问题，但是您对科学家和政治家在解决问题方面所做的工作感到满意吗？风险？您对您和他们的努力感到满意，还是我们仍然走在一条非常危险的道路上？
YB：我认为我们在降低风险方面还没有采取措施。已经进行了很多全球对话，提出了很多立法提案，联合国正在开始考虑国际条约，但我们需要走得更远。
我们在筹集资金方面取得了很大进展。意识和更好地理解风险，以及政客们考虑立法，但我们还没有做到这一点。我们还没有处于能够保护自己免受灾难性风险影响的阶段。
在过去的六个月中，现在还出现了一股反作用力（阻碍监管进展），来自少数派的非常强大的游说团体拥有大量权力和金钱的人，不希望公众对他们在人工智能方面所做的事情进行任何监督。
构建这些机器的人之间存在利益冲突，期望赚大钱并与公众相互竞争。我们需要管理这种冲突，就像我们对烟草所做的那样，就像我们对化石燃料所做的那样。我们不能让市场的力量成为推动我们开发人工智能的唯一力量。
BT：如果只是交给市场力量，这很讽刺，我们在某种程度上会被将我们的未来与一个已经非常具有破坏性的算法联系在一起。
YB：是的，完全正确。
BT：你提到游说团体推动机器学习不受监管。他们的主要论点是什么？
YB：其中一个论点是这会减慢创新速度。但是否存在一场以最快的速度改变世界的竞赛呢？不，我们想让它变得更好。如果这意味着采取正确的措施来保护公众，就像我们在许多其他领域所做的那样，那么这并不是一个好的论点。这并不是说我们要停止创新，您可以将精力集中在构建肯定有助于经济和人民福祉的工具的方向上。所以这是一个错误的论点。
我们几乎对所有事情都有监管，从你的三明治，到你的汽车，再到你乘坐的飞机。在我们制定监管之前，我们发生的事故要多几个数量级。药品也是如此。我们可以拥有有用且受监管的技术，这对我们有用。
第二个论点是，如果西方因为我们想要谨慎而放慢脚步，那么中国就会向前迈进，使用该技术来对付我们。这是一个真正令人担忧的问题，但解决方案并不是不加小心地加速，因为这会带来军备竞赛的问题。
解决方案是一个中间立场，我们与中国人和其他国家对话。我们达成共识，避免重大灾难符合我们的共同利益。我们签署条约并致力于验证技术，这样我们就可以彼此相信我们没有做任何危险的事情。这就是我们需要做的，这样我们才能谨慎行事，为了地球的福祉而共同行动。
编者注：为了清晰起见，本次采访经过编辑和精简。
HowTheLightGetsIn 是世界上最大的思想、科学和音乐节，每年在伦敦和海伊举行。错过了伦敦音乐节？不用担心。节日之前的所有活动，包括最近伦敦节日的所有辩论和演讲，都可以在 IAI.TV 上观看。主题涵盖从量子到意识以及介于两者之间的所有内容，您会发现罗杰·彭罗斯、卡洛·罗维利和萨宾·霍森菲尔德等先驱思想家的视频、文章，甚至每月的在线活动。立即在 iai.tv/subscribe 享受每月免费试用。
还有什么？下一届音乐节将于 2025 年 5 月 23 日至 26 日在海伊举行，主题为“探索未知”。有关早鸟票的更多详细信息和信息，请访问他们的网站。
Ben Turner 是 Live Science 驻英国的特约撰稿人。他涵盖物理学和天文学，以及科技和气候变化等其他主题。他毕业于伦敦大学学院，获得粒子物理学学位，之后接受记者培训。当他不写作时，本喜欢阅读文学、弹吉他和下棋。