人工智能的有用白痴

思考世界末日可能会很有趣。尽管现实的世界末日情景核战争，全球变暖，专制型思考压力很大，但更奇特的启示（外星人入侵，机器人起义）可以产生一些令人愉快的逃避现实。

这可能是三年前发起人工智能融入公众意识时的原因之一，这么多回答着重于假设的未来AI系统带来的存在风险，而不是对无知部署的技术的危险所引起的更为直接且最有基础的问题。但是很久以前AI泡泡到达，有些人正在抨击它杀死我们所有人的可能性。其中的主要是Eliezer Yudkowsky，联合创始人机器情报研究所（Miri）。20多年来，Yudkowsky一直在警告“超级智能AI构成的危险”，即能够超越整个人类的机器。

尤德科夫斯基（Yudkowsky）关于该主题的新书的标题与美里（Miri）总统内特·苏亚雷斯（Nate Soares）共同撰写，从一开始就定下了基调。如果有人建造它，每个人都死了他们试图为AI厄运做一个简洁的案例。它也是倾向和杂乱无章的，同时屈服于浅。Yudkowsky和Soares是认真的；与AI周围许多最响亮的预言家不同，它们不是怪物。他们只是错了。他们与所谓的加速主义者一样错误，他们坚持认为AI将释放出普遍收入和休闲的乌托邦。实际上，Yudkowsky和Soares（不知不觉地）与加速主义者相同的利益：那些从没有根据AI改变世界的毫无根据的确定性中获利的人。

Eliezer Yudkowsky和Nate Soares

作者的基本说法是，AI将继续改善，变得更聪明，更聪明，直到它实现超智慧或设计一些东西为止。他们认为，如果没有仔细的培训，这个至高无上的目标将与人类的生活不相容。为了举一个示例，一个超级聊天机器人受过培训，可以满足和保留用户，以便可以向他们收取更高的每月费用来继续对话。人类将妨碍AI计划用这种基本机器人填充宇宙的计划，因此我们都将被灭绝。他们更大的论点是，如果人类建立使人类智力黯然失色的东西，它将能够超越我们，但是选择了自己的自我服务目标。作者认为，风险是如此严重，以至于唯一的解决方案是对AI研究的完全关闭。实际上，考虑到执行AI禁令和避免核报复之间的选择，他们偏爱前者，因为数据中心可以杀死比核武器更多的人。（斜体是他们的；作者自由地使用它们。）

在如此剧烈的结论中，尤德科夫斯基和Soares无法为其主张提出基于证据的科学案例。取而代之的是，他们依靠平坦的断言和摇摇欲坠的类比，在逻辑上留下了巨大的漏洞。其中最大的是超级智能本身的想法，作者几乎在每种指导和预测问题上都将其定义为一种比任何人都更有能力的思想。”

阅读：对技术寡头的现实检查

这种思维方式认为智力是一个离散的，可衡量的概念，而增加它是资源和处理能力的问题。但是智力并不是这样。人类预测和转向情况的能力不是单一的，广泛适用的技能或特质，某人在一个领域可能是出色的，而在另一个领域可能会浪费。爱因斯坦不是一位伟大的小说家。国际象棋冠军鲍比·菲舍尔（Bobby Fischer）是偏执的阴谋理论家。我们甚至在各种物种上都看到了这一点：大多数人都可以执行许多蝙蝠可以做的认知任务，但是没有人可以通过快速整合复杂的回声分配数据来自然地与蝙蝠寻找猎物的能力相匹配。然而，对于Yudkowsky和Soares来说，智力似乎只是对原始认知能力的衡量标准，有时它们几乎与计算速度和能力相同。

脑部计算机是一系列隐喻中的最新信息，这些隐喻帮助人类思考了我们自己的思想。在大脑是计算机之前，它是电话网络。在此之前，它是一个液压系统（使用的隐喻弗洛伊德）；在此之前，这是一个时钟。尽管大脑和计算机之间存在相似之处，而生成AI中使用的人工神经网络从神经元的工作方式中获得了一些灵感，但大脑不是计算机。大脑发展了，但是计算机是构建的，它们的结构和操作与大脑完全不同。这就是为什么看似简单的关于用计算机语言构成的大脑的问题的原因，这些问题没有同意答案：它们从根本上讲是不适合的。例如，没有人知道大脑可以存储多少个字节，尽管Yudkowsky和Soares表明它有将近400吨的trabytes。他们没有引用科学文献的这一主张，因为对此没有达成共识。

这只是许多不必要的逻辑和事实飞跃之一如果有人建造它。其作者最接近的是他们对AI训练和人类进化之间各种紧张的类比的核心论文的积极论点，这些类比误导了自然选择的实际工作方式。Yudkowsky和Soares也很容易误读AI的基本误读，AI是他们所谓的专业领域。他们做出了很多事实，即人类的聊天机器人克劳德（Claude）有时通过手动更改测试代码来通过计算机代码来通过测试；他们将其描述为作弊。对于文本生成引擎而言，这是毫不奇怪的行为，该引擎已经过训练以获取代码通过测试而不了解代码本身的代码。但是对于这些注定者来说，这是险恶意图的证明。为了支持他们的断言，他们引用了一个用户声称，当[用户]将其淘汰时，克劳德（Claude）的作弊较少，这表明作弊不仅仅是无能为力。

在这里以及整本书中，作者成为了Pareidolia的基本认知偏见的牺牲品，即看到模式，尤其是人类模式的趋势，例如面部和没有存在的人。克劳德（Claude）不比克劳德（Claude）的想法更多。诸如克劳德（Claude）之类的大型语言模型无法在其产生的单词与这些单词所指的世界上的事物之间建立任何联系，因为LLMS对世界没有概念的简单原因。说明的是，尽管作者在本书的开头承认LLMS看起来很浅，但他们从未提及幻觉，这是LLMS面临的最重要的问题。幻觉最终源于以下事实：LLMS能够区分真理和虚假。他们只是产生哲学家的机器哈里·法兰克福称为废话……

当他们试图解释为什么超级智能AI不可避免地会消灭人类并吞噬太阳系以寻求更多的资源和权力时，这种Pareidolia最终导致Yudkowsky并误入歧途。他们声称LLM需要事物并追求超越培训的目标，但是他们引用的支持其主张的行为更容易被解释为培训数据集中出现的材料的反流。

阅读：AI成长，不是建造。

然而，关于作者参与这种拟人化的方式的某些内容。即使AIS发展了欲望，为什么还会导致他们寻求无限资源？Yudkowsky和Soares明确地将超级智能的AI与有渴望成为亿万富翁的富裕人士进行了比较，并以此为证据，表明聪明的生物（自然和人为）通常具有无法满足的开放式欲望。我认为大多数人都不喜欢这个，大多数人都有一种感觉他们可能有足够的。如果大多数人都这样，为什么我们应该期望大多数超级智能AI是这样呢？

这些不是第一个将超级智能AI的行为与超级健康的行为进行比较的作者。科幻作家泰德·清2017年在讨论了Yudkowsky的AI-Doom叙事风格的心理起源时建立了类似的联系。厄运的假设超级智能Ai'做每个科技创业公司都希望以指数级的速度增长并破坏其竞争对手，直到它实现了绝对的垄断作用为止''写。``超级智能的想法都是一个很差的定义观念，以至于人们可以设想它几乎以平等的理由采取任何形式：一种解决世界问题的仁慈精灵，或者是一个花费所有时间来证明定理的数学家，以至于人类甚至可以理解他们。但是，当硅谷试图想象超智慧时，所提出的是无害的资本主义。”

从某种意义上说，Yudkowsky和Soares如此关注的AI启示录仅仅是我们自己的世界，它是通过一种科幻的娱乐镜像看到的。我们拥有超级富裕的技术寡头，而不是超级智能AI。像假想的AI一样，寡头想殖民宇宙。像假设的AI一样，寡头似乎并不在乎我们其他人的欲望和福祉。无论如何殖民宇宙是一个根本上构想的想法;技术寡头埃隆·马斯克（Elon Musk），杰夫·贝佐斯（Jeff Bezos），马克·安德森（Marc Andreessen）仍然想要它，以及自己的力量和财富增加。在这种追求中，技术首席执行官经常加剧现有的社会疾病，包括气候变化和不平等，即使其中一些 争论 那个将解决许多相同的问题。

在这种背景下，Yudkowsky和Soares希望将有关AI的对话构建为两个主要阵营之间：像他们这样的注定者，他们认为AI Apocalypse是真实而迫在眉睫的；以及包括OpenAI首席执行官在内的加速度领导者山姆·奥特曼（Sam Altman），他们想推动超级智能AI的比赛，以实现技术乌托邦。

阅读：在Openai的混乱中

但是作者相信与他们反对的人一样的幻想。他们基本上接受了乌托邦人所持有的所有前提，并得出了几乎相同的结论。尤德科夫斯基（Yudkowsky）在书中和在其他地方进行的采访中都非常明确他所期望的未来。正如他和Soares所写的那样，如果一个超级智能以某种方式满足某人的意图并且意图是好的，那么人类将被带到技术的范围；人类将可以殖民恒星。老化。

这是一个过于简单的技术救赎的幻想：只要尝试这个奇怪的技巧，所有人类问题将永远解决。作者及其乌托邦对手之间的唯一区别是，前者认为，安全开发最后一项技术将很难安全地开发。尤德科夫斯基（Yudkowsky）对灭绝的恐惧只是AI天堂承诺的另一面。但是，启示录或乌托邦或超级智能AI本身的可能性没有不可避免的，甚至是特别可能的。

Yudkowsky和Soares至少一件事是正确的：技术寡头并不关心人类面临的最紧迫的威胁。但是，作者并没有成为勇敢的真理柜员，而是扮演有用的白痴的角色。他们认为AI可以解决我们所有问题的想法。他们只是认为我们还没有准备好。在最近的一次采访中，尤德科夫斯基（Yudkowsky）提出了一种荒谬和不道德的基因疗法作为这一目的的途径。）问题不是这些未来到达这里的速度，而是那个未来的所谓建筑师今天所做的事情。Yudkowsky和Soares是正确的，人类文明处于灾难的边缘，但他们误认为罪魁祸首。真正的生存威胁不是建立它的强大人物。