2000 年来的争论揭示了人工智能最大的问题

在 ChatGPT 发明之前近 2000 年前，两个人进行了一场辩论，这场辩论可以让我们对人工智能的未来了解很多。他们的名字是以利以谢和约书亚。

不，我不是在谈论埃利泽尤德科夫斯基，他最近出版了一本畅销书声称人工智能会杀死所有人，或 Yoshua Bengio，人工智能教父— 以及世界上被引用次数最多的在世科学家 — 尽管我确实与他们两人讨论了这场长达 2000 年的争论。我说的是拉比埃利泽和拉比约书亚，两位来自一世纪的古代圣人。

根据犹太法律的核心文本《塔木德》中的一个著名故事，拉比埃利以泽坚信他在某个法律问题上是正确的，但其他圣人不同意。因此，以利以谢拉比创造了一系列奇迹，旨在证明上帝站在他一边。他让一棵角豆树连根拔起，然后逃走。他让一条小溪倒流。他让自习室的墙壁开始塌陷。最后，他宣称：如果我是对的，天上会有一个声音来证明这一点！

你知道什么？一个天上的声音从天而降，宣布拉比以利以谢是对的。尽管如此，圣贤们仍然不为所动。约书亚拉比坚称：“《托拉》不在天堂！”换句话说，当涉及到法律时，任何神圣的声音怎么说并不重要，重要的是人类的决定。由于大多数圣人不同意拉比以利以谢的观点，他被否决了。

快进 2000 年，我们正在进行本质上相同的辩论 - 只是将“神圣的声音”替换为“AI 上帝”。

如今，人工智能行业的最大参与者不仅仅是试图构建一个有用的聊天机器人，而是一个“超级智能”比人类聪明得多并且强大得难以想象。这将目标从建造一个方便的工具转变为建造一个神。当 OpenAI 首席执行官 Sam Altman 表示他正在创造 –天空中的神奇智慧，——他想到的不仅仅是我们今天所知的 ChatGPT；他设想“近乎无限的智慧”可以实现“发现所有物理学”，甚至更多。一些人工智能研究人员假设，超级智能最终将为人类做出重大决定——要么自主行动，要么通过感觉不得不服从其高级判断的人类做出决定。

人工智能公司承认，当我们努力实现超级智能时，我们需要解决“一致性问题”——如何让人工智能系统可靠地做人类真正希望它们做的事情，或者使它们与人类价值观保持一致。但他们对解决这个问题的承诺却掩盖了一个更大的问题。

是的，我们希望公司阻止人工智能在以下领域发挥作用有害的,有偏见的, 或欺骗性的方式。但将一致性视为技术问题还不够，尤其是当行业的雄心转向创造上帝时。这种雄心壮志要求我们问：即使我们可以以某种方式建造一台全知的、极其强大的机器，即使我们可以以某种方式将其与道德价值观结合起来，这样它也是非常好的……我们应该吗？或者说，建立一个人工智能神只是一个坏主意——无论它在技术层面上多么完美——因为它会挤压人类选择的空间，从而使人类的生活变得毫无意义？

我问埃利泽·尤德科夫斯基和约书亚·本吉奥他们是否同意他们古代的同名者的说法。但在我告诉你他们是否认为人工智能神是可取的之前，我们需要讨论一个更基本的问题：这可能吗？

上帝应该是良善的——每个人都知道这一点。但我们如何让人工智能变得优秀呢？那个，没人知道。

解决对齐问题的早期尝试过于简单化。OpenAI 和 Anthropic 等公司试图让他们的聊天机器人变得有用且无害，但并没有具体说明它应该是什么样子。例如，对于聊天机器人来说，无休止地进行长时间的交谈是“有帮助”还是“有害”？浪漫的角色扮演与用户？为了方便作弊在功课上？提供免费但可疑的，治疗和道德建议？

大多数人工智能工程师没有接受过道德哲学方面的培训，他们也不知道自己对道德哲学的理解是多么的少。因此，他们只赋予聊天机器人最肤浅的道德意识——很快，问题就大量出现了，偏见和歧视到悲惨的自杀事件。

但事实是，即使在道德专家中，也没有人对善有清晰的理解。道德问题是出了名的有争议：哲学家们提出了许多不同的道德理论，尽管对它们争论了数千年，但对于哪一个（如果有的话）是“正确的”理论，仍然没有达成共识。

即使全人类神奇地同意同一个道德理论，我们仍然会遇到一个问题，因为我们对道德转变的看法随着时间的推移，有时打破规则实际上是件好事。例如，我们通常认为遵守社会法律是正确的，但当罗莎·帕克斯 (Rosa Parks) 1955 年非法拒绝将公交车座位让给白人乘客时，这有助于激发民权运动，我们认为她的行为令人钦佩。背景很重要。

另外，有时不同种类的道德良善会在根本层面上相互冲突。想想一个面临权衡的女人：她想成为一名修女，但也想成为一名母亲。更好的决定是什么？我们不能说，因为这些选择是不可通约的。没有单一的标准来衡量它们，因此我们无法比较它们以找出哪个更大。

值得庆幸的是，一些人工智能研究人员意识到他们必须赋予人工智能更复杂的、道德的多元图景– 承认人类有多种价值观，而我们的价值观往往相互矛盾。

这方面的一些最复杂的工作来自意义对齐研究所，研究如何将人工智能与人们的价值观结合起来。当我问联合负责人 Joe Edelman 是否认为超级智能人工智能与人类价值观相一致是否可能时，他毫不犹豫。

“是的，”他回答。但他补充说，其中一个重要部分是训练人工智能在某些情况下说“我不知道”。

“如果你被允许训练人工智能做到这一点，事情就会变得容易得多，因为在有争议的情况下，或者真正的道德混乱的情况下，你不需要有答案，”埃德尔曼说。

他引用了当代哲学家露丝·张（Ruth Chang）的话，她写过关于“艰难的选择— — 做出真正困难的选择，因为不存在最好的选择，就像一位想成为修女但又想成为母亲的女人的例子。当您面对此类竞争性的、无可比拟的商品时，您无法“发现”哪一种客观上最好，而只能选择将您的人力抛在后面。

“如果你让[人工智能]知道哪些是艰难的选择，那么你就已经教会了它一些道德知识，”埃德尔曼说。– 那么，这算作对齐，对吗？ –

嗯，在某种程度上。它绝对比不了解存在选择且不存在最佳选择的人工智能要好。但许多最重要的道德选择都涉及同等的价值观。如果我们为这些选择创造一个例外，我们真的能在任何有意义的意义上解决一致性问题吗？或者我们只是创造一个人工智能，它会系统地对所有重要的事情保持沉默？

– 或许我们是“创造一个能够系统性地保持沉默的人工智能，”当我直接向她提出问题时，张说道。– 它会说“危险信号，危险信号，这是一个艰难的选择” – 人类，你们必须有意见！ – 但是这就是我们想要的”另一种可能性——让人工智能为我们做许多最重要的决策——在她看来是一个糟糕的主意。”

与尤德科夫斯基对比一下。他是人工智能世界的主要毁灭者，而且他可能从未被指责过于乐观。然而，他实际上对联盟抱有令人惊讶的乐观态度：他认为，超级智能的联盟是原则上可以。他认为这是一个我们目前不知道如何解决的工程问题，但他仍然认为，从根本上来说，这只是一个工程问题。一旦我们解决了这个问题，我们就应该广泛利用超级智能。

在他与内特·苏亚雷斯 (Nate Soares) 合着的书中，他认为我们应该“增强人类能力，让他们变得更聪明”，这样他们就能找到一种更好的构建人工智能的范式，从而实现真正的协调。我问他，如果我们在一个房间里有足够多的超级聪明和超级优秀的人，并让他们建立一个一致的超级智能，他认为会发生什么。

“也许我们从此以后都会幸福地生活，”尤德科斯基说。

在他的理想世界中，我们会要求拥有增强智能的人不要将自己的价值观编入人工智能，而是构建尤德科夫斯基所说的“连贯推断意志”——一种可以窥视每个活着的人类思想的人工智能，并推断出如果我们知道人工智能所知道的一切，我们想要做什么。（这将如何运作？尤德科夫斯基写道超级智能可以“完整读取你的大脑状态”——听起来很像手挥魔法.）然后它会利用这些知识来为我们基本上管理社会。

我问他是否愿意接受这种超级智能做出的具有重大道德后果的决定，比如是否投掷炸弹。“我想我对此基本上是同意的，”尤德科斯基说，“如果 80% 的人类对于他们想要的东西有 80% 的一致性，如果他们知道超级智能所知道的一切的话。”换句话说，如果我们大多数人都赞成某种行动，而且我们相当强烈和一致地赞成它，那么人工智能就应该采取这种行动。

然而，这样做的一个主要问题是，它可能会导致“多数人的暴政”，完全合法的少数观点会被挤出。这已经是现代民主国家的一个担忧（尽管我们已经制定了部分解决这个问题的机制，例如将基本权利嵌入宪法中，而多数人无法轻易推翻）。

但人工智能之神会将“多数人的暴政”担忧最大化，因为它有可能永远为全球所有人做出决定。

这就是颇具影响力的哲学家尼克·博斯特罗姆 (Nick Bostrom) 所描绘的未来图景，他本人也在努力推动来自超人类主义传统的更多思想。在他 2014 年的畅销书中，超级智能”，他想象了“一个将塑造全人类未来的机器超级智能。”它可以做一切事情，从管理经济到重塑全球政治，再到启动持续的太空殖民进程。博斯特罗姆认为会有优点和缺点对于这种设置，但一个突出的问题是，超级智能可以决定世界各地所有人类生命的形态，并且可以享有永久的权力集中。如果你不喜欢它的决定，你将没有追索权，也无处可逃。那就无处可逃了。

显然，如果我们建立一个几乎无所不知、无所不能的系统来运行我们的文明，这将对人类自治构成前所未有的威胁。这迫使我们问……

尤德科斯基在正统犹太世界长大，所以我想他可能知道塔木德关于拉比埃利泽和拉比约书亚的故事。果然，我一提起，他就记住了。

我指出，这个故事的要点是，即使你拥有有史以来最“一致”的超级智能顾问，也确实是来自上帝的声音！– 你不应该按照它告诉你的去做。

但尤德科夫斯基正如他古老的同名者一样，明确表示他想要一个超级人工智能。一旦我们弄清楚如何安全地建造它，他认为我们绝对应该建造它，因为它可以帮助人类在太阳死亡并摧毁我们的星球之前在另一个太阳系中重新定居。

他告诉我：“就我们最终如何殖民星系而言，我们人类确实没有什么可以押注的。”

难道他不担心这个故事的要点——为人类能动性保留空间是一项至关重要的价值，我们不应该愿意牺牲这一价值吗？他做到了，有一点。但他建议，如果超级智能人工智能可以通过连贯的推断意志确定我们大多数人希望炸毁朝鲜的某个实验室，那么它应该继续摧毁该实验室——也许根本不需要通知我们。“也许超级智能要做的道德和伦理事情是……成为无声的神圣干预，这样我们就不会面临是否要倾听这个比我们更了解的声音的低语的选择，”他说。

他们担心如果人工智能失调会发生什么（最坏的情况：人类灭绝），但他们也担心即使技术协调问题得到解决也会发生什么：军队创造前所未有的监视和自主武器；财富和权力大量集中在少数公司手中；大规模失业；并在所有重要领域逐渐取代人类决策。

正如 FLI 执行董事 Anthony Aguirre 对我所说，即使你不担心人工智能带来生存风险，“仍然存在”存在主义者风险。换句话说，我们作为意义创造者的身份仍然存在风险。

张，哲学家说这正是通过做出艰难的选择她告诉我，我们成为了我们自己，她永远不想将大部分决策外包给人工智能，即使它是一致的。“我们所有的技能和对重要事物的价值观的敏感性都会萎缩，因为你只是让这些机器来做这一切，”她说。“我们绝对不希望这样。”

除了萎缩的风险之外，爱德曼还看到了更广泛的风险。“我觉得我们来到地球就是为了解决问题，”他说。“因此，想象一个人工智能可以为我们解决一切问题，就像剥夺了我们生命的意义一样。”

事实证明，这也是约书亚·本吉奥最关心的问题。当我告诉他塔木德故事并问他是否同意他的同名者的观点时，他说：“是的，非常同意！”即使我们拥有神一般的智慧，也不应该由它来决定我们想要什么。”

他补充说，“人类的选择、人类的偏好、人类的价值观都不是正义理性的结果。”这是我们的情感、同理心和同情心的结果。这不是一个外在的事实。它是我们的真相。所以，即使有神一般的智慧，可以不为我们决定我们想要什么。 –我问：如果我们能够将尤德科夫斯基的“连贯外推意志”构建到人工智能中会怎样？

本吉奥摇摇头。

“我不愿意放弃这种主权，”他坚持说。“这是我人类的自由意志。”

他的话让我想起了英国宗教哲学家约翰·希克（John Hick），他提出了“认知距离……这个想法是，上帝有意在某种程度上不介入人类事务，因为否则我们人类就无法发展自己的能动性和道德品质。

这个想法与《塔木德》故事的结局非常吻合。我们得知，在以利以谢拉比和约书亚拉比之间的大辩论多年后，有人问先知以利亚，当约书亚拉比拒绝聆听神圣的声音时，上帝有何反应。上帝发怒了吗？

恰恰相反，先知解释说：“圣者微笑着说：我的孩子们战胜了我；我的孩子们战胜了我。”我的孩子们战胜了我。”