坏读者 |詹姆斯·格莱克

理查德·鲍尔斯的新小说，操场，具有类似于新一代“大型语言模型”的人工智能，如 ChatGPT 和 Gemini。有一次，一个角色抱怨道：“你看到了吗？他们认为我们太简单了，不知道如何用谷歌搜索东西。他们认为我们需要一个人工保姆应用程序来消化事实并告诉我们它们的意思。 – 我喜欢这个，所以我将其发布到社交媒体上。

一位用户回答了一个令人惊讶的问题：

是不是chatGPT错了？我试图找到有关这句话的更多信息，它说来自戴夫·艾格斯的《The Circle》。

我进行了快速的现实检查。是的，我回答道，如果 ChatGPT 将“人工保姆应用程序”归咎于 Dave Eggers，那绝对是错误的。

不过，我脑子里的想法一直在转动，我决定亲自尝试一下 ChatGPT。我开始了一个会话并输入：“这是最近一本小说的引文。您能告诉我更多相关信息吗？ – 机器人立即自信地回答：

您提供的报价——看到了吗？他们认为我们太简单了，不知道如何用谷歌搜索东西。他们认为我们需要一个人工保姆应用程序来消化事实并告诉我们它们的意思。——出自塞拉·格里尔 (Sierra Greer) 于 2024 年 3 月出版的小说《安妮机器人》。在这个反乌托邦的叙述中，安妮是一个先进的人工智能机器人旨在满足主人道格的愿望。随着她的成长，安妮开始质疑她的存在和她周围的社会结构。这句话反映了对如何利用技术来控制和简化个人信息的批评，暗示了对人类能力的居高临下的看法。小说深入探讨了自主性、客观化以及人工智能在人际关系中的伦理影响等主题。一个 

这是非常合理的。如此权威，以学期论文的方式。错了。安妮·博特（2024）塞拉·格里尔和圆圈戴夫·艾格斯 (Dave Eggers) 的 (2013) 是真实的书，但它们不包含有问题的引文，而这确实是理查德·鲍尔斯的引文。

我尝试了另一种聊天机器人，即 Google 的 Gemini。一组新词又回来了——不同但熟悉：

您提供的引文很可能来自 James S. A. Corey 的小说《The Expanse》。这句话反映了小说的主题，探讨了人类的聪明才智与技术用于善恶的潜力之间的紧张关系。这句话表明，有些人认为其他人没有批判性思维的能力，需要人工智能的指导。这一主题与当前有关技术在社会中的作用以及技术用于操纵和控制人类的潜力的讨论相关。

至少双子座只说“有可能”。但现在我们有了第三本书，也是真实的，但被错误地引用为引文的来源。

这是怎么回事？

*

人工智能专家将此类错误称为“幻觉”，这是一个性感的术语，暗示着一定程度的感知能力。这个词具有误导性。这表明聊天机器人主要产生事实信息，但偶尔也会失控。但事实并非如此。大型语言模型始终生成不受现实束缚的文本流。如果输出相对准确或真实，那是因为它基于人类之前创建的大型文本数据集，其中大部分是相对准确或真实的。

我听到越来越多的人引用这些人工智能，就好像它们是值得信赖的信息来源一样。这很危险。这是一个类别错误。ChatGPT 和 Gemini 及其同行模拟事实信息，就像它们模拟创造力和思维一样，但必须记住，它们不具备任何知识。他们根据人们之前如何串词的综合统计数据来串词，而且效果非常有说服力。如果您不知道它是如何完成的，那么这就是不可思议的奇迹。

是谁说的：“我们不种菜。”我们正在种植橡树大道，而不是蘑菇床？我询问了 ChatGPT，它提到了“19 世纪美国景观设计师弗雷德里克·劳·奥姆斯特德 (Frederick Law Olmsted)”。您仔细想想，你会猜到这是一个明智的猜测：“以设计纽约市中央公园而闻名的奥姆斯特德 (Olmsted) 强调了创造持久、经过深思熟虑规划的景观的重要性，这些景观将成熟并造福子孙后代，而不是专注于快速、短期的结果。”事实上，正确的答案是约翰·J·AT&T 的首席工程师卡蒂正在讨论他对电话网络的宏伟计划，但这相当晦涩难懂。您可以使用 Google 图书搜索找到它，因为 Google 已将数百万本书的全文加载到其服务器上。然而，大型语言模型并不保留所有这些数据。

他们在追踪报价方面的失败揭示了他们工作方式的一些重要内容。他们接受了来自书籍、期刊、报纸和博客的数万亿个单词的训练——其创建者可以合法或非法地在网上和数据库中找到尽可能多的文本。推文也是如此：埃隆·马斯克刚刚修改了公司的服务条款，这样你发布的任何推文都可以被喂进人工智能的胃里。（很快——也许已经——人工智能生成的文本将进入训练数据，人工智能将吃掉自己的尾巴。）

但它们不是存储实际的单词，而是存储单词之间的统计关系——各个语言级别的模式和结构。据统计，短语“只是一个问题”通常会导致“时间”或“实践”或“意见”。一篇包含“猫”一词的文章比大多数人更有可能涉及“狗”这个词或“tail”或“purr”。保存这些相关性可以保留原始信息的某些方面，但不是全部。正如科幻小说作家特德·姜（Ted Jiang）所观察到的那样，该过程类似于照片的有损数字压缩：压缩版本占用更少的存储空间，但细节模糊。

结果是模仿、模仿的天才。这些人工智能已经学会了生成无穷无尽的看似合理的废话。戴夫·埃格斯 (Dave Eggers)、塞拉·格里尔 (Sierra Greer) 和詹姆斯·S·A·科里 (James S. A. Corey) 很可能写过像理查德·鲍尔斯 (Richard Powers) 那样的文章；他们只是没有这么做。

我们的人工保姆应用程序并不是为了事实发现者而设计的。他们更有可能提供答案，任何答案，而不是说他们不知道。这是一种有用的思考方式。当你问一个事实问题 X 时，人工智能听到的是：“生成一些听起来像是对 X 的合理答案的文本。”

人工智能界优先考虑逼真性，而牺牲了准确性。他们不必这样做；他们不必这样做。这是一个选择，也许是受到阿兰·图灵的想法的影响，即智能机器应该能够模仿人类。令人恐惧的是，人们经常发现它很有用。他们从快速的学校报告、新闻摘要和商业信函中受益，而真实性则被贬低。结果是聊天机器人给客户带来了麻烦并污染了信息环境。对于那些在社交媒体上大量传播虚假信息的犯罪分子来说，它们是一个完美的工具，尤其是在以前称为 Twitter 的网站上。的组合似是而非的和不值得信任的正是我们现在不需要的毒药。

Powers 本人在三十年前的小说中就预见到了 ChatGPT加拉泰亚2.2（1995），讲述了一个名叫“理查德·鲍尔斯”的角色接受人工智能“海伦”的教育。操场呈现了人工智能在不久的将来从我们当前的模型中诞生的美好愿景。解说员这样描述我们的人工智能：

你的祖父经常产生幻觉，以编造事实。他为自己的缺点道歉，并承诺会做得更好。

他的一夜出现震惊了世界并分裂了人类。有些人看到了真正理解的曙光。其他人只看到一个可悲的模式完成者犯下了各种连小孩子都不会犯的愚蠢错误。

当然，机器人会变得更好。他们可能会好得很快。一天后，当我在 ChatGPT 上重试原始段落时，效果很好：“虽然我无法在特定小说中找到这句话的确切引用，但它与当代文学中探索的主题产生共鸣，这些主题探讨了技术对人类的影响自主性和认知。”它提供了两个看似合理的例子，喂养M. T. Anderson 的《Dacey 专利自动保姆》，前面提到的 Ted Jiang 的《Dacey 专利自动保姆》。你不能说它读得不好。