技术
在线研究问题的许多答案显示了由AI聊天机器人产生的迹象,引起了对这种方式收集行为数据的有效性的疑问
参加在线研究项目的一些人正在使用AI节省时间
DanieledâAndreti/Unsplash
在线调查表被AI生成的回答淹没了,可能会污染科学家的重要数据源。
诸如多产的薪酬参与者之类的平台用于回答研究人员提出的问题。它们在学术界中很受欢迎,作为收集参与者进行行为研究的一种简单方法。
Anne-Marie Nussberger她在德国柏林马克斯·普朗克人类发展研究所的同事决定调查受访者在自己的作品中注意到例子后使用人工智能的频率。她说,我们观察到的发病率确实令人震惊。”
他们发现,有45%的参与者被问到一个关于多产的复制和粘贴到框中的开放式问题的参与者 - 他们认为,人们认为人们将问题提交给AI Chatbot,以节省时间。
对响应内容的进一步研究表明,更明显的说明了AI的使用,例如“过于详细”或“明显的非人类语言”。她说,从我们今年年初收集的数据来看,似乎很大一部分研究受到污染。”
在随后使用多产的研究中,研究人员添加了陷阱,旨在用聊天机器人努力。两项基于图案的小型测试,旨在区分人类与机器人的参与者中有0.2%的参与者。一个更高级的Recaptcha使用了有关用户过去活动以及当前行为的信息,又淘汰了2.7%的参与者。文本中的一个问题是人类看不见的,但可以让机器人读取,要求他们在他们的回应中包含“榛子”一词,又捕获了1.6%,同时阻止了任何复制和粘贴的确定性。
努斯伯格说,我们需要做的不是完全不信任在线研究,而是要反应和反应。”努斯伯格说。她说,这就是研究人员的责任,他们应该以更多的怀疑对待答案,并采取对策来阻止AI-Sable-Sable-Spaircy行为。但是,很重要的是,我也认为平台上有很多责任。他们需要做出回应并非常重视这个问题。
多产没有回应新科学家提出评论的要求。
``在线行为研究的完整性已经受到调查站点的参与者的挑战,歪曲了自己,或者使用机器人获得现金或代金券,更不用说远程自我报告的回应的有效性来了解复杂的人类心理学和行为。”马特·霍奇金森,研究道德的自由职业顾问。研究人员要么需要集体制定方法来远程验证人类参与,要么返回面对面接触的老式方法。”
主题: