OC

Knowledge OS
鹦鹉螺口语
为什么聊天机器人不断讲述一个名叫“埃利亚斯·索恩”的人的故事?
2026-06-11 18:20:05 · 英文原文

为什么聊天机器人不断讲述一个名叫“埃利亚斯·索恩”的人的故事?

作者:AJ Dellinger

埃利亚斯·索恩到底是谁?他是聊天机器人讲述的故事中的常客,因为第一次发现由软件工程师丹尼尔·梅(Daniel May)设计,但直到现在还没有人知道其中的原因……。根据一项新的预印本研究404媒体率先报道埃利亚斯传奇的流传可能与人工智能模型在安全和对准训练期间设置的护栏有关。

如果您需要了解埃利亚斯·索恩 (Elias Thorne) 的全部内容,康奈尔大学研究人员 Sil Hamilton 和 David Mimno 发表的文章是一个很好的起点。他们提供了多种人工智能模型,包括 OpenAI 的 GPT-5.4 Mini、Anthropic 的 Claude Haiku 4.5 和 Google 的 Gemini 3.1 Flash-Lite,以及五种不同的生成故事的提示。他们查看了模型生成的约 20,000 个故事,发现重复数量惊人:11 个单词——灯塔、守护者、面包师、市长、钟表匠、渔夫、图书馆员、指挥以及玛拉、埃利亚斯和埃拉拉这些名字——出现在所有故事中的比例高达 88%。

用于讲故事的名词组合极其狭窄,没有比灯塔守护者埃利亚斯出现得更频繁的了,它出现在所有生成的故事的三分之二中。这与传闻非常相符May 提供的示例,他还促使多个不同的模特写故事,并发现灯塔看守人埃利亚斯一遍又一遍地出现。

那么这笔交易到底是什么?研究人员推测这可能与输入这些模型的预训练数据有关,但很快就排除了这一可能性,因为他们找不到任何证据表明“灯塔守护者埃利亚斯”在预训练数据或训练中使用的文献中出现的频率过高。

相反,他们将问题归因于人工智能实验室普遍使用的特定数据集的使用。他们引用了 WildChat 作为一个可能的例子,WildChat 是一个包含人们与 GPT-3.5 支持的聊天机器人之间数百万次对话的开源数据集。创建该数据集是为了帮助研究人员了解人们如何与机器人进行通信,但此后已被用于训练许多不同的模型。他们的理论是,旨在引导模型远离受版权保护的角色和成人内容的对齐训练可能会无意中赋予“安全”替代品,例如“灯塔守护者埃利亚斯”异常突出,导致当用户要求模型生成故事时它们会反复出现。

灯塔看守人埃利亚斯·索恩(Elias Thorne)可能适合儿童睡前故事,但404 媒体报道看来这个角色的名字正在传播。该出版物在奇幻书籍中找到了主角名字的例子,以及亚马逊上提供的氛围音乐曲目中列出的“艺术家”。也可能发现的例子埃利亚斯·索恩 (Elias Thorne) 是多本书的作者,其中包括一本声称提供有关替代癌症治疗方法信息的手册。所以,这不太好。

如果不出意外的话,法学硕士讲故事的奇怪怪癖很好地提醒我们,人工智能没有创造力。一个去年发表的研究发现图像生成模型会重复生成属于 12 个特定主题之一的图像,无论给定的提示有多么离奇。基本上,给人工智能一个创造性的任务,它就会给你相当于电梯音乐的效果。

关于《为什么聊天机器人不断讲述一个名叫“埃利亚斯·索恩”的人的故事?》的评论

暂无评论

发表评论

摘要

埃利亚斯·索恩 (Elias Thorne) 是聊天机器人生成的故事中反复出现的角色,他与人工智能安全培训期间实施的护栏有关。研究人员希尔·汉密尔顿(Sil Hamilton)和大卫·米姆诺(David Mimno)发现,尽管这个名字在预训练数据中没有明显流行,但几个人工智能模型始终会生成以埃利亚斯为灯塔看守人的故事。从理论上讲,这种重复源于对齐训练中使用的特定数据集,旨在避免受版权保护的角色或成人内容,无意中推广了像埃利亚斯·索恩这样的“安全”替代品。此后,这个角色出现在各种形式的媒体和错误信息环境中,凸显了人工智能缺乏真正的创造力。