美国的一项研究发现,读者无法区分著名诗人写的诗和人工智能模仿他们风格写的诗。更糟糕的是——至少对于任何热爱文学的人来说——研究对象往往更喜欢人工智能诗歌,而不是人类诗人的诗歌。
根据本周发表在《自然》杂志上的一项研究,研究人员建议读者将人类书写的诗歌的复杂性误认为是人工智能造成的不连贯,并低估了类人生成人工智能的表现。自然科学报告。
研究人员使用了十位英语诗人的五首诗,涵盖了近 700 年的英语文学。这些作家包括杰弗里·乔叟、威廉·莎士比亚、塞缪尔·巴特勒、拜伦勋爵、沃尔特·惠特曼、艾米丽·狄金森、T·S·艾略特、艾伦·金斯伯格、西尔维娅·普拉斯和名单上唯一在世的诗人多萝西娅·拉斯基。
这项研究由匹兹堡大学博士后研究员 Brian Porter 领导,然后指示 OpenAI 的大型语言模型 ChatGPT 3.5 生成每位诗人“各自风格”的五首诗。输出不受人为判断的影响;研究人员选择了生成的前五首诗。
波特和他的同事使用文本语料库进行了两项实验。第一个实验中,1,634 名参与者被随机分配给十位诗人中的一位。然后,他们被要求以随机顺序阅读十首诗,其中五首是人工智能的,五首是人类诗人的。他们被问到这首诗是由人工智能还是人类写的。
也许反常的是,受试者更有可能说人工智能生成的诗是由人类写的,而他们所说的最不可能由人类写的诗都是由人写的。
在第二次实验中,近700名受试者根据质量、美感、情感、节奏、原创性等14个特征对诗歌进行评分。研究人员将受试者随机分为三组,告诉一组这些诗是由人类写的,而另一组则是由人工智能创作的。最后一组没有获得有关这首诗作者的任何信息。
很明显,没有被告知这些诗歌是来自人类还是人工智能的受试者对人工智能创作的诗歌的评价高于人类写的诗歌。与此同时,告诉受试者这首诗是人工智能生成的,他们更有可能给它较低的评分。
“我们的研究结果表明,参与者采用了共享但有缺陷的启发法来区分人工智能和人类诗歌:人工智能生成的诗歌的简单性可能更容易让非专家理解,导致他们更喜欢人工智能生成的诗歌并误解人类诗歌的复杂性作为人工智能产生的不连贯性,”研究人员说。
“与早期研究报告的相反,人们现在似乎无法可靠地区分人类脱离循环的人工智能生成的诗歌和知名诗人所写的人类创作的诗歌。事实上,‘比人类更人类’的现象在生成人工智能的其他领域中发现的这一点也存在于诗歌领域:非专家参与者更有可能判断一首人工智能生成的诗歌是人类创作的,而不是一首实际上是人类创作的诗歌。这些发现标志着一个飞跃。凭借 的力量 前进生成式人工智能:诗歌此前是生成式人工智能模型尚未达到人类脱离循环范式中不可区分水平的少数几个领域之一。”
与此同时,人们似乎更喜欢人工智能诗歌,因为它们更容易理解。研究人员表示:“在我们的歧视研究中,参与者对人类创作的诗歌使用‘没有意义’这个短语的变体比对人工智能使用的频率更高。”®