摘要:研究人员分析了人工智能生成的和人类撰写的大学招生论文,发现人工智能生成的论文与来自特权背景的男学生撰写的论文相似。与人类论文相比,人工智能论文往往使用较长的单词,并且在写作风格上表现出更少的多样性,特别是类似于私立学校申请者的论文。
该研究强调了人们对使用人工智能撰写招生论文的担忧,因为人工智能可能会冲淡了学生真实的声音。鼓励学生使用人工智能作为工具来增强而不是取代他们的个人写作叙述。
关键事实:
来源:康奈尔大学
在对数千篇人类撰写的大学招生论文和人工智能生成的论文进行检查后,研究人员发现人工智能生成的论文与论文由男性学生撰写,具有较高的社会经济地位和较高的社会特权。
这篇发表在《大数据杂志》上的论文还发现,人工智能生成的写作也没有那么多样化。康奈尔大学信息科学助理研究教授 AJ Alvero 表示,我们希望了解我们在人类撰写的文章中看到的这些模式在 ChatGPT 世界中是什么样子。该研究的通讯作者。如果与人类写作和身份有很强的联系,那么与人工智能撰写的论文相比如何?
Alvero 和团队比较了提交给两所大学的 150,000 多篇大学招生论文的写作风格加州系统和东海岸一所精英私立大学的工程项目,使用 GPT-3.5 和 GPT-4 生成了一组超过 25,000 篇论文,提示回答与人类申请人相同的论文问题。
为了进行分析,研究人员使用了语言查询和字数统计程序,该程序可以统计标点符号和代词使用等书写特征的频率,并与外部词典交叉引用这些计数。
Alvero 和团队发现,虽然大型语言模型 (LLM) 的写作风格在社会比较分析中并不代表任何特定群体,但在词语选择和使用方面,它们听起来确实最像来自更优越地区的男学生
例如,人们发现人工智能平均使用比人类作家更长的单词(六个或更多字母)。此外,人工智能生成的写作往往比人类撰写的论文种类更少,尽管它比公立学校学生的论文更接近私立学校申请者的论文。
此外,人类和人工智能倾向于尽管人工智能实际上没有任何从属关系,但以相似的速度写下从属关系(与团体、人员、组织和朋友)。
随着像 ChatGPT 这样的大语言模型变得越来越流行和更加精致,它们将被用于各种领域包括大学招生在内的各种设置。
学生很可能会使用人工智能来帮助他们撰写这些论文,可能不会要求它只写整篇文章,而是要求它提供帮助和反馈。Rene Kizilcec,康奈尔大学信息科学副教授,该论文的合著者。
但即便如此,这些模型提出的建议可能与价值观、语言风格不太相符,这将是那些学生的真实表达。
重要的是要记住,如果你使用人工智能来帮助你写一篇论文,它可能听起来不太像你,而更像是一些非常通用的东西,他说。学生们需要知道,对于阅读这些文章的人来说,找出谁广泛使用了人工智能并不困难。关键是用它来帮助学生讲述自己的故事并增强他们想要传达的内容,而不是取代他们自己的声音。
作者:Becka Bowyer
来源:康奈尔大学
联系人:Becka Bowyer 康奈尔大学
图片:图片来源于 Neuroscience News
原创研究:开放获取。
大型语言模型、社会人口统计学和霸权:比较人类文本和合成文本的作者作者:AJ Alvero 等人。大数据杂志
摘要
大型语言模型、社会人口统计学和霸权:比较人类文本和合成文本的作者身份
大型语言模型已变得流行起来很短的一段时间,因为它们可以生成类似于跨不同领域和任务的人类书写的文本。使用的普及和广泛也使这项技术能够从根本上重塑书面语言的感知和评估方式。
口语也长期以来在维持权力和霸权方面发挥着作用。社会,特别是通过社会认同和正确的语言形式的观念。
但是,随着人类交流变得更加依赖文本和书写,了解这些过程可能如何转变以及谁更有可能改变就变得非常重要。看到他们的写作风格通过现代人工智能反映在他们身上。
因此,我们提出以下问题:生成式人工智能的写作风格像谁?
为了回答这个问题,我们比较了以下语言的写作风格特征:向大型公立大学系统和精英私立大学的工程项目提交了超过 150,000 篇大学招生论文,其中包含使用 GPT-3.5 和 GPT-4 根据相同写作提示生成的超过 25,000 篇论文的语料库。
我们发现,与人工智能生成的论文相比,人类撰写的论文在各种个人写作风格特征(例如动词使用)方面表现出更多的变异性。总体而言,我们发现人工智能生成的论文与具有较高社会特权的男性学生撰写的论文最相似。
这些发现表明人类和人工智能作者特征之间存在严重不一致,这可能会影响写作评估并呼吁研究控制策略以提高一致性。