人工智能普遍不擅长知道何时在对话中插话:研究人员发现了一些根本原因

2024-11-11 15:03:32 英文原文

作者:Tufts University

Researchers discover why AI does a poor job of knowing when to chime in on a conversation
参与者响应的分布、参与者同意 TRP 发生的时间以及单个刺激 S 的 TRP 的模型预测。虚线表示每个参与者同意的 TRP 都有一些相关的方差。响应被分组在单词的时间中点之间。信用:arXiv(2024)。DOI:10.48550/arxiv.2410.16044

当你今天进行谈话时,请注意当交流为对方留出插话机会时的自然要点。如果他们的时机不对,他们可能会被认为过于咄咄逼人,过于胆怯,或者只是很尴尬。

来回是发生在信息交换中的社交元素。,虽然人类很自然地做到这一点(除了一些例外),但人工智能语言系统在这方面普遍表现不佳。

塔夫茨大学的语言学和计算机科学研究人员现在已经发现了人工智能对话技能不足的一些根本原因,并指出了使它们成为更好的对话伙伴的可能方法。他们的研究结果将在自然语言处理的经验方法(欧洲管理国家实验室 2024)会议于 11 月 12 日至 16 日在迈阿密举行,发布arXiv预印本服务器。

当人类进行口头互动时,大多数情况下,他们会避免同时说话,而是轮流说和听。每个人都会评估许多输入线索,以确定语言学家所说的“转换相关位置”或 TRP。TRP 经常出现在对话中。很多时候,我们会通过 TRP,然后让演讲者继续。其他时候,我们会使用 TRP 轮流分享我们的想法。

心理学和计算机科学教授 JP de Ruiter 表示,长期以来,人们认为对话中的“副语言”信息——语调、单词和短语的延长、停顿以及一些– 是识别 TRP 的最重要信号。

“这有点帮助,”德鲁伊特说,“但如果你去掉单词,只给人们韵律——就像你通过袜子说话一样的旋律和节奏——他们就无法不再检测适当的 TRP。”

做相反的事情,只用单调的语音提供语言内容,研究对象会发现他们在自然语音中找到的大部分相同的 TRP。

“我们现在知道,轮流对话的最重要提示是语言内容本身。停顿和其他提示并不那么重要,”德鲁特说。

AI 非常擅长检测内容模式,但是当 de Ruiter、研究生 Muhammad Umair 和计算机科学研究助理教授 Vasanth Sarathy(EG20)针对大型语言模型 AI 测试转录对话时,AI 无法检测到适当的 TRP具有接近人类的能力。

原因源于人工智能的训练内容。大型语言模型,包括 ChatGPT 等最先进的模型,已经在来自互联网的大量书面内容数据集上进行了训练——维基百科条目、在线讨论组、公司网站、新闻网站——几乎一切。

该数据集中缺少的是大量转录的口语会话语言,这些语言是无脚本的,使用更简单的词汇和更短的句子,并且结构与书面语言不同。人工智能并不是在对话中“长大”的,因此它不具备以更自然、类似人类的方式建模或参与对话的能力。

研究人员认为,也许可以采用一个针对书面内容进行训练的大型语言模型,并通过对一组较小的对话内容进行额外训练来对其进行微调,以便它可以更自然地参与新颖的对话。当他们尝试这样做时,他们发现复制类人对话仍然存在一些限制。

研究人员警告说,人工智能进行自然对话可能存在根本障碍。“我们假设这些大型语言模型能够正确理解内容。但事实可能并非如此,”Sarathy 说。“他们根据表面的统计相关性来预测下一个单词,但轮流说话需要从上下文中更深入地了解对话。”

“通过预训练可以克服这些限制乌迈尔说,他的博士研究重点是人机交互,也是这项研究的主要作者。

“虽然我们发布了一个新颖的训练数据集,可以帮助人工智能识别自然发生的对话中的语音机会,但以训练当今人工智能模型所需的规模收集此类数据仍然是一个重大挑战,”他说。“与互联网上的书面内容相比,可用的对话录音和文字记录并不多。”

更多信息:Muhammad Umair 等人,大型语言模型知道该说什么,但不知道何时说话,arXiv(2024)。DOI:10.48550/arxiv.2410.16044

期刊信息: arXiv

引文:人工智能普遍不擅长知道何时在对话中插话:研究人员发现了一些根本原因(2024 年,11 月 11 日)检索日期:2024 年 11 月 11 日来自 https://techxplore.com/news/2024-11-ai-universally-bad-chime-conversation.html

本文档受版权保护。除了出于私人学习或研究目的的任何公平交易外,不得未经书面许可,不得复制部分内容。所提供的内容仅供参考。

关于《人工智能普遍不擅长知道何时在对话中插话:研究人员发现了一些根本原因》的评论


暂无评论

发表评论

摘要

塔夫茨大学的研究人员发现,人工智能语言系统很难确定对话期间说话的适当时间,即“转换相关位置”(TRP)。与严重依赖语言内容的人类不同,当前主要基于书面互联网数据训练的大型语言模型在检测 TRP 方面表现不佳,因为缺乏对转录的口语会话语言的训练。虽然使用额外的对话数据对人工智能进行微调显示出一些希望,但在收集足够的自然语音数据集以进行有效的预训练方面仍然存在重大挑战。该研究将于 2024 年 EMNLP 上发表,并可在 arXiv 上获取。