生成的人工智能可以在定性研究中取代人类吗？
作者：Carnegie Mellon University
让人参加一项研究可能是耗时的，对于在严格的截止日期进行有限预算的研究人员来说，这可能是耗时且昂贵的。精致的大型语言模型（LLM）可以完成许多任务，因此一些研究人员和公司探索了在研究中使用它们而不是人类参与者的想法。
卡内基·梅隆大学计算机科学学院的研究人员确定了在定性研究中使用LLM的基本局限性，重点是人类的观点，包括收集和汇总信息的方式，以及围绕同意书的问题数据收集。
K＆L Gates Heidari说：“我们研究了这个问题，即基于LLM的代理人是否可以取代人类参与定性研究，而高级答案是否定的。”
“无论技术多么好，人类参与者都有各种各样的细微差别，您不可能从基于LLM的代理中获得。”
该团队的论文“故事的模拟：将大语言模型作为定性研究参与者”在计算机机械协会的计算系统中的人为因素会议上获得了荣誉奖（Chi 2025）上周在日本横滨。
来自SCS的团队成员包括Heidari；Shivani Kapania，人力计算机互动研究所（HCII）的博士生；William Agnew，HCII的Carnegie Bosch博士后研究员；HCII和S3D的助理教授Motahhare Eslami；HCII的助理教授莎拉·福克斯（Sarah Fox）。
纸是可用的在2025 CHI人为因素的计算系统中的会议记录。
LLM被用作各个领域培训的工具。在医学和法律职业中，这些工具使专业人员能够模拟和练习现实生活中的情况，例如治疗师培训以识别心理健康危机。在定性研究（通常是基于面试的定性研究中）正在接受训练以模仿人类行为在他们对问题和提示的回答中。
在这项研究中，CMU团队采访了19名具有定性研究经验的人。参与者与LLM聊天机器人风格的工具进行了互动，并来回键入消息。该工具允许研究人员将LLM生成的数据与人类生成的数据进行比较，并反思道德问题。
研究人员确定了使用LLMS作为研究参与者的几种方法引入了对科学探究的局限性，包括该模型收集和解释知识的方法。研究参与者指出，LLM工具经常从多个来源编译其答案，并有时不自然地将其拟合到一个回应中。
例如，在一项有关工厂工作条件的研究中，地板上的工人和经理可能对工作和工作场所的各个方面有不同的反应。然而，LLM参与者产生回应可能会将这两种观点结合在一起，以一种不反映现实的方式将态度混为一谈。
LLM响应者将问题引入了另一种方式科学探究过程是同意的形式。在本文中，研究人员指出，接受社交媒体平台的公开数据培训的LLM可能会引起有关知情同意的疑问，以及是否对模型的数据进行培训的人可以选择退出。
总体而言，该研究提出了对使用LLM作为研究参与者的怀疑，并指出了有关这些工具有效性的道德问题和问题。
研究人员写道：“这些模型是用模型生产者的偏见，假设和权力动态编码的，以及它们得出的数据和上下文。”“因此，它们在研究中的使用重塑了所产生的知识的性质，通常以加强现有的层次结构和排除性的方式。”
更多信息：Shivani Kapania等人，故事的模拟：研究大语模型作为定性研究参与者，2025 CHI人为因素的计算系统中的会议记录（2025）。doi：10.1145/3706598.3713220
引用：生成的人工智能可以在定性研究中取代人类吗？（2025年5月14日）检索2025年5月14日摘自https://techxplore.com/news/2025-05-generative-ai-humans-qualative.html
该文档具有版权。除了为私人研究或研究目的的任何公平交易外，没有未经书面许可，可以复制部分。内容仅用于信息目的。
关于《生成的人工智能可以在定性研究中取代人类吗？》的评论
暂无评论