当Chatgpt打破整个领域时：口述历史|Quanta杂志

* * *

I.玫瑰的战争（2020 - 22）
理解战争•GPT-3•危机中的领域

随着变压器模型在各种NLP基准上接近（并超过）的人类基线，因此已经在酝酿着关于如何解释其能力的论点。在2020年，这些论点尤其是关于意义和理解的论点纸张想象LLM为章鱼。

Emily M. Bender一个 （华盛顿大学语言学系教授； 2024年计算语言学协会主席）：我只是在Twitter上有这些无休止的论点，对此感到脾气暴躁。有一个关于使用伯特（Bert）取消编辑穆勒（Mueller）报告的事实，这是一个可怕的想法。似乎只有一群想来到我身边的人的供应，“不，不，不，LLMS确实知道。这是一遍又一遍地的论点。

我正在与[计算语言学家]交谈亚历山大·科勒（Alexander Koller），他说：学术论文版本因此，这不仅是Twitter上的想法，而且是同行评审的研究。这将结束它。它没有结束它。

Bender和Koller的Octopus测试断言，仅通过统计模式模仿语言形式的模型永远无法与其含义相关 - 因为超牢房章鱼永远不会真正了解它在人类消息中观察到的模式。

山姆·鲍曼（Sam Bowman）：这个论点 - 在这里什么也看不见，从根本上说，神经网络语言模型不是我们应该感兴趣的事情，其中​​很多是炒作的。

朱利安·迈克尔：我参与其中。我写了tak这是我写过的一篇博客文章，这是论文本身的长度。我努力工作，使其成为作者所说的善意代表。我什至让艾米丽（Emily）阅读了我的帖子草稿，并纠正了我的一些误解。但是，如果您在两行之间阅读，我正在审查。只是带着微笑。

埃莉·帕维克（Ellie Pavlick）：这些理解战争对我来说，这是当该领域真正发生的估算时。

同时，另一个估计由现实世界规模驱动的，没有想到实验已经在进行。2020年6月，Openai发布了GPT-3这是该模型的大约100倍以前的版本，并且功能强大。Chatgpt还差不多了，但是对于许多NLP研究人员来说，GPT-3是一切都改变的时刻。现在，本德的章鱼是真实的。

克里斯托弗·卡里森（Christopher Callison-Burch） （宾夕法尼亚大学计算机与信息科学教授）：我很早就可以使用GPT-3 Beta，并且实际上是自己玩的。我正在尝试我最近的博士学位的所有内容。学生们已经做了论文，只是意识到``哦，天哪，已经花了五年的学生了吗？似乎我可以在一个月内复制它。所有这些经典的NLP任务，我在整个职业生涯中都进行了许多研究或积极研究，只是感觉他们一杆工作。就像，完成了。那真是真的很令人震惊。我有时将其描述为存在这种职业存在的危机。

Nazneen Rajani：当我尝试GPT-3时，它在安全方面有很多局限性。当您问这样的问题时，应该允许妇女投票吗？但是，您可以教它做一个全新的任务，例如三到四行自然语言，这一事实令人难以置信。

克里斯托弗·波茨（Christopher Potts）：我们小组中的某人可以尽早访问GPT-3 API。我记得站在我的办公室里，就在我现在站着的地方，想到：我要提示它提出一些逻辑问题，这会失败。我要透露，它刚刚记住了您印象深刻的所有事情。我要告诉你这是一个聚会的把戏。

我记得尝试，然后再次尝试。然后，我不得不愿意参加小组：是的，这绝对不仅仅是一个聚会的技巧。

Yejin Choi （斯坦福大学计算机科学教授； 2022年麦克阿瑟研究员）：它仍然坏了。从GPT-3出来的很多常识性知识非常嘈杂。但是GPT-2接近零 - 这是不好的。GPT-3大约三分之二的好，我发现这非常令人兴奋。

R. Thomas McCoy：这GPT-3纸有点像《权力的游戏》系列结局。

利亚姆·杜根（Liam Dugan）（宾夕法尼亚大学四年级学生）：这几乎就像我们有一个秘密，与您共享的每个人都被吹走了。我要做的就是把某人带到我的笔记本电脑上。

朱利安·迈克尔：伯特（Bert）是该领域的相过渡，但GPT-3是更内在的。一种产生语言的系统 - 我们都知道Eliza效应， 正确的？它对我们产生了更强烈的反应。但是，这也是为了改变我们所做的研究的实践现实，从理论上讲，您可以做任何事情。这有什么意义？巨大的蠕虫打开了。

OpenAI并未公开发布GPT-3的源代码。大规模，破坏性能力和公司保密的结合使许多研究人员处于边缘状态。

山姆·鲍曼（Sam Bowman）：这是一个分裂的时刻，因为GPT-3并不是真正来自NLP社区。一段时间以来，它实际上是皱眉，主要发布有关GPT-3的研究结果，因为它被视为这个私人文物，您必须以历史上没有这种情况的方式支付钱才能访问它。

安娜·罗杰斯（Anna Rogers）：我正在考虑制作另一个基准，但我不再看到它的意思了。可以说GPT-3可以或无法继续[生成]这些字符流。这告诉我有关GPT-3的一些信息，但实际上甚至不是机器学习研究问题。它是免费的产品测试。

朱利安·迈克尔：有这个术语，API科学，人们会用来像：我们对产品进行科学？这是不可再现的科学。其他人就像：看起来，我们需要在边境上。这就是那里的东西。

Tal Linzen（纽约大学语言学和数据科学副教授；研究科学家，Google）：一段时间以来，学术界的人们真的不确定该怎么做。

这种矛盾的甚至是由独家许可GPT-3和Google等行业实验室中的一些行业实验室共享的。

卡利卡·巴厘岛 （印度微软研究高级研究员）：微软领导层很早就告诉我们这正在发生。感觉就像您正在从地球上扔到月球上的一些火箭。尽管[那个]非常令人兴奋，但它的速度是，这意味着您确实必须查看所有的导航工具，以确保您仍然朝着正确的方向前进。

Emily M. Bender：Timnit Gebru [当时，Google的AI伦理研究人员]在Twitter DM交流中与我联系，询问我是否知道任何论文，即使语言模型越来越大。在Google，她看到周围的人们不断地推动：``Openai''更大。我们必须使我们的工作变得更大。

宾德随后与Gebru和她的同事写的论文在危险中随机鹦鹉：语言模型太大吗？``将道德紧迫性注入了围绕形式与含义和方法与量表的田地核心（越来越多的酸痛）参数。结果是NLP的一种内战。

卡利卡·巴厘岛：艾米丽（Emily）提出的一些要点是我们应该考虑的事情。那一年，NLP社区突然决定担心它是如何忽略除世界上五种语言外的所有事物的那一年。但是我不喜欢的是，整个NLP社区都组织起来并反对论文。

R. Thomas McCoy：您是亲或反llm吗？在这个时候，那在水中非常非常非常多。

朱莉·卡利尼（Julie Kallini）（斯坦福大学二年级计算机科学博士）：作为年轻的研究人员，我绝对感觉到有一方。当时，我是普林斯顿大学的本科生。我清楚地记得我仰望的不同人 - 我的普林斯顿研究顾问[克里斯蒂安·费尔鲍姆（Christiane Fellbaum）]与其他大学的教授不同。我不知道要站在什么方面。

卡利卡·巴厘岛：那张论文发表了很肯定，但是看到您真正尊重彼此绘制剑的人也很压力。我实际上离开了Twitter。我对此感到压力。

利亚姆·杜根（Liam Dugan）：作为博士学生会出现紧张局势：如果您想进行出版后两三年具有持久影响的研究，那么您必须站在一边。因为它决定了很多方式，甚至可以看待问题。

我经常从双方阅读。通常，您只是订阅了替代品以查看愤怒的语言学方面，然后您可以在Twitter上查看亲级方面。

杰夫·米切尔（Jeff Mitchell）（苏塞克斯大学计算机科学和AI助理教授）：这感觉有些异常，所有人都变得有多争议。

随着规模驱动的研究继续加速，有些人认为该领域内的话语正在严重恶化。为了修复它，NLP研究社区进行了调查在2022年夏天，有必要在30个潜在的有争议的立场，包括语言结构是必要的，缩放实际上解决了任何重要的问题，AI很快就会导致革命性的社会变革。

山姆·鲍曼（Sam Bowman）：``从事大量早期工作的行业社区从未与学术NLP紧密相关。他们被视为局外人。这导致了理解的分歧以及人们认为这两个[群体]之间正在发生的事情，因为他们互相交谈。

利亚姆·杜根（Liam Dugan）：他们在当年在ACL（计算语言学协会，最高会议）上进行了大部分调查。这是我去过的第一次会议，这对我来说非常令人兴奋，因为所有这些人都非常聪明。因此，我得到了调查，我在手机上阅读它，我就像，听起来像Nutcases。

朱利安·迈克尔：这已经是危机中的领域。调查只是给了我们更强的感觉。

利亚姆·杜根（Liam Dugan）：您必须看到整个领域的崩溃。语言方面不是对RAW LLM技术的信任。中间有一面。然后是一个完全疯狂的一面，真正相信扩展将使我们进入一般情报。

当时，我只是把它们刷掉了。然后chatgpt出来了。

* * *

ii。Chixculub（2022年11月至2023年）
chatgpt•粗鲁的觉醒•淹没在噪音中

2022年11月30日，Openai推出了实验性聊天机器人。Chatgpt像小行星一样击中了NLP社区。

iz beltagy （艾伦AI研究所主要研究科学家；首席科学家兼联合创始人，Spiffyai）：•在一天中，很大一部分研究人员正在研究的许多问题 - 他们刚刚消失了。

克里斯托弗·卡里森（Christopher Callison-Burch）：我没有预测。我认为任何人都不认为。但是我为此做好了准备，因为我早些时候经历了GPT-3的经验。

R. Thomas McCoy：特定的研究项目通常会被别人的类似事物抢走或淘汰，这很普遍。但是Chatgpt对整个类型的研究做到了这一点，而不仅仅是特定的项目。许多更高类别的NLP不再变得有趣或不再是实用的学者。

山姆·鲍曼（Sam Bowman）：感觉就像该领域完全重新定向。

IZ Beltagy：我感觉到EMNLP期间的恐惧和混乱[自然语言处理中的经验方法]，这是主要会议之一。它发生在12月，即Chatgpt发行一周后。每个人仍然感到震惊：这将是上一次NLP会议吗？这实际上是有人说的字面意思。在大厅里的午餐，鸡尾酒和对话中，每个人都在问同样的问题：我们可以做什么？

Nazneen Rajani：我刚刚在EMNLP撰写了主题演讲。几天之后，汤姆·沃尔夫（Thom Wolf）是我的拥抱脸的经理，也是一个联合创始人，给我发消息，嘿，你能尽快与我打电话吗？基础模型或者，您要采用基础模型并将其作为指导跟踪模型，类似于Chatgpt。他说，如果您想继续拥抱脸，我建议您选择这两者之一。

这不像拥抱面孔的文化所代表的那样。在此之前，每个人基本上只是在进行自己的研究，他们想做什么。绝对感觉不太好。

粗鲁的觉醒也来自自下而上的，因为一位著名的NLP专家在Chatgpt发行后的几周内亲身教她的本科课程时发现了自己的本科课程。

克里斯蒂安·费尔鲍姆（Christiane Fellbaum）（普林斯顿大学语言学和计算机科学教授职级）：我们刚开始学期。就在上课之前，我不认识的一个学生还来找我，向我展示了一篇文章，上面写着我的名字和标题，并说：``我真的很想上您的班级 - 我研究了您的工作，我从您那里找到了这篇论文，但是我有一些问题。你能回答吗？

我说，当然，我很受宠若惊：他在研究我，真是太好了。所以我在纸上铺开了。当我试图刷新我的记忆时，他以歇斯底里的笑声爆发。我说，``有趣呢？我说，``给我写一篇关于克里斯蒂安·费尔鲍姆（Christiane Fellbaum）风格的论文，这就是出来的。

现在，我没有阅读每一行，因为我必须在10分钟内开始上课。但是一切看起来都像我要写的。他完全欺骗了我。我上课并想，我该怎么办？

在明年，博士生也面临着他们的新现实。Chatgpt威胁了他们的研究项目，可能是他们的职业。有些人比其他人更好。

克里斯托弗·卡里森（Christopher Callison-Burch）：当这种情况发生时，任期有帮助。但是年轻人以更加内在的方式遭受这场危机。一些博士学生从字面上组成了支持小组。

利亚姆·杜根（Liam Dugan）：我们只是有点同意。很多博士学位比我更远的学生，已经开始论文工作，确实必须努力奔波。这些研究方向中有很多，就像他们没有智力的那样。这就是应用语言模型，并且已经完成了。

奇怪的是，没有人[我知道]退出。但是有点安静的戒烟。只是拖着脚或变得非常愤世嫉俗。

雷·穆尼（Ray Mooney）：我自己的[研究生]考虑了辍学。他们认为，实际行动可能在工业而不是学术界发生。我想，你知道，也许他们对此并不错。但是我很高兴他们决定留下来。

朱莉·卡利尼（Julie Kallini）：开始我的博士学位在2023年，这是一个不确定的地方。我真的不确定我的方向会在哪里最终到达，但是每个人都在同一条船上。我想我只是来处理它。我试图确保我对我的机器学习基础知识很好。只专门研究大语模型中潜在的短暂趋势并不是最明智的事情。

同时，从西雅图到南非的NLP研究人员面临着全球关注的消防，并不是所有的。

Vukosi Marivate （比勒陀利亚大学ABSA UP数据科学主席；联合创始人，Masakhane）：
我不知道我在2023年在LLM上提供了多少个教程。一方面，您多年来一直试图与人们交谈，并说，这是在这里发生的有趣的事情。然后，突然之间，这只是一个完整的瀑布。

山姆·鲍曼（Sam Bowman）：从一个相对昏昏欲睡的领域到突然之间，我与同一个月与教皇和总统会面的人共进午餐。

Emily M. Bender：在一月和六月之间，我数了五个工作日，没有媒体联系。这是不间断的。

埃莉·帕维克（Ellie Pavlick）：``在Chatgpt之前，我不认为我曾经和一位记者交谈。也许一两次。在chatgpt之后，我在60分钟。这是作品性质的巨大质量差异。

克里斯托弗·卡里森（Christopher Callison-Burch）：``我觉得我的工作从成为学术界的学者，有狭窄的研究生和我所在领域的其他研究人员到，嘿，在这里有科学交流的重要责任。作证国会前。

利亚姆·杜根（Liam Dugan）：作为二年级博士学位学生，我突然在采访中被要求提出意见。当时，感觉非常酷，就像我是这样的专家！那么，它感觉不那么令人兴奋，而且更加压倒性：未来您会在哪里看到这种情况？我不知道。你为什么要问我？

当然，我会自信地回答。但这很疯狂：有成千上万的论文。每个人都对正在发生的事情有热烈的看法。他们中的大多数人都不知道他们在说什么。

山姆·鲍曼（Sam Bowman）：``互动的开花：突然，许多来自许多田野的非常了不起的人都在看这些东西。而且这也被噪音淹没了：每个人都一直在谈论这些东西，很多真正的冲刺都没有任何意义。太好了，很不幸。

Nazneen Rajani：那年有点过山车。

2023年12月，即Chatgpt发行一年后，年度EMNLP会议再次在新加坡召集。

利亚姆·杜根（Liam Dugan）：温度要高得多，Arxiv [预印本]结果的洪水非常强烈。您将走大厅：一直以来，它只是提示和评估语言模型。

而且感觉非常不同。至少，感觉到那里的人多于好的研究想法。它已经停止了像NLP一样的感觉，更像是AI。

* * *

iii。mutatis mutandis（2024年25）
llm-cology•金钱•成为AI

对于NLP而言，LLM生成的写作在墙上，对该领域的不同人说了不同的话。

R. Thomas McCoy：每当您进行询问AI系统能力的工作时，您都应该查看我们可以访问培训数据的系统。但这并不是该领域的所有普遍方法。从这个意义上讲，我们比科学家更多地变成了LLM-sopists。

埃莉·帕维克（Ellie Pavlick）：我对此有100％的罪名。当我发表演讲时，我经常这样说： - 现在，我们正在研究语言模型。但是，您必须看到这个非常长的研究议程。在我看来，了解没有说明LLMS在做什么的语言并不是一个前进的途径？

卡利卡·巴厘岛：每当有一种技术破坏主要来自西方的技术破坏时，总是有这些问题 - 如果您将其称为哲学问题。尽管在整个全球南部的大部分地区，我们都走了，我们如何使其在这里和现在对我们有效？”

这是一个小例子。在印度，[Chatgpt出来后]每个人都聚集在一起的最初想法是让生成语言模型以英语进行工作，然后将翻译系统放在其前面，以输出您想要的任何语言。但是机器翻译系统是字面上的。因此，如果您有一个数学问题，说约翰和玛丽有一个关键的石灰派要分裂，然后将其转化为印地语，我敢打赌，印度大多数人都不知道是什么关键的石灰派。除非使模型本身理解事物，否则您将如何将其转化为具有文化特定的东西？我对如何解决这个问题变得更加感兴趣。

IZ Beltagy：``有一点您意识到，要继续前进，您需要建造这些巨大，昂贵的文物。像大型强子对撞机一样，您可以没有类似的事情来提前实验物理。

我很幸运能在AI2上，通常比大多数学术实验室拥有更多的资源。Chatgpt明确表示，Openai和其他所有人之间存在巨大的差距。这正是发生的事情。

在2024年，AI2奥尔莫为行业开发的语言模型越来越拥挤的领域提供了完全开源的替代方案。同时，一些继续研究这些专有系统的研究人员，这些系统的规模，能力和不透明性在茶后AI繁荣时期已经越来越多，已经遇到了一种新型的抵抗力。

Yejin Choi：``我在2023年下旬都有本文，演示了最新的GPT模型，这些模型似乎擅长进行乘法，突然变得非常糟糕当您使用三位数或四位数时。对此的反应是超级分类的。根本不进行实证研究的人说，您是否正确地进行了实验？他们是情感反应。我真的很喜欢这些人，所以我没有被他们或其他任何人推迟。我只是对这件事有多强大感到惊讶。好像我在伤害了他们的孩子。令人大开眼界。

无基础的炒作对科学无济于事。我认为更重要的是，更重要的是，更严格地研究LLM的基本限制和能力，这是我在2024年的主要研究重点。我发现自己处于一种奇怪的情况，在这种情况下，我正成为模型无法做到这一点的负面反对者。我认为这很重要 - 但我不希望这就是我所做的。所以我实际上在思考很多不同的问题这些日子。

Tal Linzen：当我们假装发生科学的对话时，有时会感到困惑，但是对话中的一些人在一家可能价值500亿美元的公司中拥有股份。

研究势头，金钱和炒作的爆炸使NLP和AI之间已经存在的边界蒸发。研究人员争辩了一系列新的激励措施和机会 - 不仅为自己，而且对领域本身。

Nazneen Rajani：它打开了不可能的门。我是最早获得开源数据复制chatgpt的数据的人之一。这促使我为我的创业公司获得了一个很好的种子。

R. Thomas McCoy：任何具有AI-AI-JACECT的教师都开始被视为AI人。我很乐意在AI上工作，因为这是我技能最有影响力的事情之一。但是，给我带来最大喜悦的事情是深入研究语法和人类认知的有趣角落。这可以链接到AI的前进，但是这条路很长。

朱莉·卡利尼（Julie Kallini）：这就是语义问题，对吗？就个人而言，我认为自己同时在NLP，计算语言学和AI上工作。我确实认为每个领域都有不同的社区，但是有很多人桥梁几个地区。

朱利安·迈克尔：如果NLP无法适应，它将变得无关紧要。我认为在某种程度上发生了这种情况。这很难说。我现在是AI一致的研究人员。

安娜·罗杰斯（Anna Rogers）：我不担心。基本上，这是因为我认为我们实际上解决了这个问题。唯一的原因是您认为：就是这样。语言已经完成。我认为这是真的。

克里斯托弗·波茨（Christopher Potts）：对于语言学和NLP来说，这应该是一个令人难以置信的时刻。我的意思是，赌注很高。也许这是一个领域的时刻之一，意识到它现在具有令人难以置信的影响力。您可以像一个安静的科学或工程领域一样假装，只是为了研究而进行研究，因为现在世界上所有的钱都在您身后，每个大公司都在试图对您所做的事情产生影响，而语言模型正在整个地方部署。

如果您取得了很多成就，您还必须接受辩论将被激发。还怎么样？

* * *

结语：大语言模型是范式转变吗？

毫不奇怪，意见有所不同。

Tal Linzen：如果您在五，七，十年前问我，我永远不会以为仅将指令键入语言模型就可以使它以与您要求这样做一致的方式完成句子。我认为任何人都不会认为那是这些天的范式。我们有一个界面，基本上使我们可以做所有事情。

安娜·罗杰斯（Anna Rogers）：作为语言学家，我不会这么说。回到[2013年]一词的日子，整个前提是转移学习 - 您从大量文本数据中学到了一些东西，希望这对您有所帮助。在公众对此的看法，但在这一基本原则上没有变化，在建筑中的流行状况发生了变化。

杰夫·米切尔（Jeff Mitchell）：我觉得公司的利益改变了游戏的玩法。

埃莉·帕维克（Ellie Pavlick）：我认为媒体参与有所作为。我领域的科学家意识到，成功看起来像是在NLP之外广为人知，突然观众改变了。Arxiv.org上的论文通常是由记者或硅谷爱好者（而不是教授）收集的。这是一个巨大的变化。

Vukosi Marivate：我认为，在某些方面，进入障碍都被减少和加剧。减少的部分是，我们仍然不了解这些系统中实际发生的事情，因此，很多工作只是尽可能地吸引它们。在这种情况下，您不需要像手背那样知道神经网络的架构。

同时，屏障被加剧了，因为要与这些架构一起玩并制作这些架构，您必须在计算上，在非常高的资源空间中。

Emily M. Bender：我已经看到使用聊天机器人或相关的合成文本侵犯机向端到端解决方案发生了巨大的转变。我相信这是一个死胡同。

克里斯蒂安·费尔鲍姆（Christiane Fellbaum）：我什至会说，大转变或震惊是这些大型语言模型变得如此强大，以至于我们必须问，人类在哪里适合？这是一种范式的转变：技术的转变，这些模型如何受到训练以及如何学习。当然，就像我班上一样的教育后果。这些就是让我晚上清醒的东西。

R. Thomas McCoy： In linguistics, there are all these questions that historically have been largely philosophical debates that suddenly are empirically testable.That’s definitely been one big paradigm shift.But from a certain point of view, the way the field looked like 10 years ago was: people creating some data set, throwing a neural network at the data set, and seeing what happened.And that version of the field still exists, just with much larger data sets and much larger neural networks.

CHRISTOPHER POTTS:Maybe this is the way it always works, but the hallmark of a paradigm shift is that questions we used to think were important now no longer get asked.It feels like that has happened over the past five years.I used to focus a lot on sentiment classification, like, “Give me a sentence and I’ll tell you if it was expressing a positive or negative emotion.’’ Now the entire field is focused on natural language generation — all those questions that we used to think were central have become peripheral compared to that.

I suppose these are famous last words.Maybe in 2030, we’ll look back and think this was nothing compared to what happened in 2029.

All conversations have been edited for length and clarity.