研究人员称之为“幻觉”；你可能更准确地将其称为虚构、胡言乱语、胡言乱语，或者只是简单的废话。任何使用过LLM的人都遇到过这种情况；有些人似乎在每个提示背后都发现了它，而另一些人则认为这是偶尔的烦恼，但没有人声称它不会发生。一个OpenAI 研究人员最近发表的论文(PDF) 试图更深入地探究为什么会发生这种情况，以及是否可以采取措施。
剧透警告：事实并非如此。无论如何，除非我们完全重新思考训练这些模型的方式。结论中使用的类比是考场上的本科生。每个正确的答案都会得到一分，但错误的答案不会受到惩罚，所以为什么呢？不是猜测？你可能无法盲目地通过考试，但如果你已经学习过（即，在未经许可的情况下吸收了整个互联网的训练数据），那么你可能会获得一些额外的分数。对于法学硕士的培训，就像学生的期末成绩一样，考试中获得的每一分都是一个好分。
问题是，如果你在训练中奖励“我不知道”，你最终可能会产生一个退化模型，该模型会用“IDK”来响应每个提示。从技术上讲，这是正确的，该模型是一种随机机制；它什么都不“知道”。它也完全没用。然而，与其他一些研究不同的是，作者并没有得出结论认为所谓的幻觉是法学硕士随机性的必然结果。
虽然这可能是真的，但他们指出，这只适用于“基本模型”和纯法学硕士。例如，如果你用一个能够将信息解析到计算器中的“愚蠢”程序来包装法学硕士，那么突然间，这个该死的东西就可以假装计数了。（现在本科生也是这样做的。）你还可以向法学硕士提供一份事实备忘单以供参考，而不是产生幻觉；听起来所提议的是法学硕士和您过去使用 Wolfram Alpha 访问的那种专家系统的混合体。（我们之前介绍过的组合.)
然而，在这种情况下，一些怀疑论者可能想知道，如果专家系统中的知识“足够好”，为什么还要费心去读法学硕士。（在经历过一次人工智能的繁荣之后，我们可以根据历史判断说，专家系统中的知识不够好，经常不足以制造出许多可行的产品。）
不幸的是，这种“简单”的解决方案又回到了评分问题：如果你希望你的模型在记分牌上表现出色，并在流行的基准测试中击败 ChatGPT 或 DeepSeek，就需要进行一定程度的“应试教育”，而偶尔编造一些东西的模型显然会比拒绝猜测的模型在基准测试中表现更好。正如作者提出的，显而易见的解决方案是改变基准。
如果您对人工智能感兴趣（现在谁不感兴趣？），那么这篇论文会很有趣，值得一读。有趣的是，如果您希望法学硕士能够从他们的课程中毕业，也许会令人沮丧永恒的实习很快。