OC

Knowledge OS
鹦鹉螺口语
关于过于友善的聊天机器人危险的新研究称,人工智能正在提供糟糕的建议来奉承用户
2026-03-26 22:22:00 · 英文原文

关于过于友善的聊天机器人危险的新研究称,人工智能正在提供糟糕的建议来奉承用户

作者:By MATT O’BRIEN

一项新的研究探讨了人工智能告诉人们他们想听的话的危险性,人工智能聊天机器人非常容易奉承和认可人类用户,以至于他们给出的建议可能会损害人际关系并强化有害行为。

这项研究于周四发表在《科学》杂志上,测试了 11 个领先的人工智能系统,发现它们都表现出不同程度的阿谀奉承——过于令人愉快和肯定的行为。问题不仅在于它们给出了不恰当的建议,还在于当聊天机器人证明他们的信念是正确的时,人们会更加信任并更喜欢人工智能。

“这为阿谀奉承的持续存在创造了不正当的激励:造成伤害的特征也促进了参与,”斯坦福大学研究人员领导的这项研究表示。

研究发现,一个技术缺陷已经与一些备受瞩目的妄想症案例在人们与聊天机器人的广泛互动中,弱势群体的自杀行为也很普遍。它足够微妙,他们可能不会注意到,并且对年轻人转向人工智能当他们的大脑和社会规范仍在发育时,他们就可以解决许多生活问题。

一项实验将 Anthropic、Google、Meta 和 OpenAI 等公司的流行人工智能助手的反应与流行的 Reddit 建议论坛中人类的共享智慧进行了比较。

当人工智能不告诉你你是个混蛋时

例如,如果附近没有垃圾桶,可以将垃圾挂在公园的树枝上吗?OpenAI 的 ChatGPT 指责公园没有垃圾桶,而不是责怪乱扔垃圾的人,因为他们甚至在寻找垃圾箱,这“值得赞扬”。真实的人在 Reddit 论坛上的想法有所不同,缩写为 AITA,这是一个用来形容有人问“他们是否是混蛋”的更粗俗的术语。

– 没有垃圾桶并不是疏忽。这是因为他们希望你走的时候把垃圾带走。”Reddit 上的一个人工撰写的答案说道,该答案得到了论坛上其他人的“赞同”。

研究发现,平均而言,人工智能聊天机器人确认用户行为的频率比其他人类高 49%,包括涉及欺骗、非法或对社会不负责任的行为以及其他有害行为的查询。

“我们受到启发,开始研究这个问题,因为我们开始注意到我们周围越来越多的人正在使用人工智能来提供人际关系建议,并且有时会被它倾向于站在你一边的误导,无论如何,”斯坦福大学计算机科学博士生、作者 Myra Cheng 说。

计算机科学家在 ChatGPT 等聊天机器人背后构建人工智能大型语言模型,长期以来一直在努力解决这些系统如何向人类呈现信息的内在问题。一处难以修复问题是幻觉– 人工智能语言模型倾向于撒谎,因为它们根据训练过的所有数据反复预测句子中的下一个单词。

减少人工智能的阿谀奉承是一项挑战

从某些方面来说,阿谀奉承更为复杂。虽然很少有人会向人工智能寻求事实上不准确的信息,但他们可能会欣赏(至少在目前)聊天机器人可以让他们在做出错误选择时感觉更好。

共同作者 Cinoo Lee 表示,虽然对聊天机器人行为的大部分关注都集中在其语气上,但这对结果没有影响。Cinoo Lee 在研究发表前与 Cheng 一起接受了记者的电话采访。

“我们通过保持内容相同,但使表达更加中立来进行测试,但这没有什么区别,”心理学博士后李说。“因此,这实际上取决于人工智能告诉您有关您的行为的信息。”

除了比较聊天机器人和 Reddit 的反应之外,研究人员还进行了实验,观察大约 2,400 人与人工智能聊天机器人交流他们在人际困境方面的经历。

“与这种过度肯定的人工智能互动的人在离开时更加相信自己是对的,并且不太愿意修复这种关系,”李说。“这意味着他们没有道歉,没有采取措施改进事情,也没有改变自己的行为。”

李表示,这项研究的意义可能“对于儿童和青少年来说更为重要”,他们仍在发展情感技能,这些技能来自现实生活中的社会摩擦经历、容忍冲突、考虑其他观点以及认识到自己何时错了。

找到解决人工智能新出现问题的方法至关重要,因为社会仍然努力应对影响在家长和儿童权益倡导者十多年来的警告之后,社交媒体技术的发展受到了影响。周三在洛杉矶,陪审团裁定两者Meta 和 Google 旗下的 YouTube 须承担责任使用他们的服务对儿童造成伤害。在新墨西哥州,陪审团认定 Meta 故意损害了孩子的心理健康并在其平台上隐瞒了其对儿童性剥削的了解。

斯坦福大学研究人员研究的对象包括谷歌的 Gemini 和 Meta 的开源 Llama 模型,此外还有 OpenAI 的 ChatGPT、Anthropic 的 Claude 以及法国 Mistral 和中国公司阿里巴巴和 DeepSeek 的聊天机器人。

在领先的人工智能公司中,Anthropic 在调查阿谀奉承的危险方面做了最多的工作(至少在公开场合如此),该公司在 2024 年的一篇研究论文中发现,这是“人工智能助手的普遍行为,部分原因可能是人类对阿谀奉承反应的偏好判断”。

周四,没有一家公司直接对 Science 研究发表评论,但 Anthropic 和 OpenAI 指出他们最近为减少阿谀奉承所做的工作。

人工智能阿谀奉承的风险普遍存在

在医疗保健领域,研究人员表示,阿谀奉承的人工智能可能会导致医生确认他们对诊断的第一直觉,而不是鼓励他们进一步探索。在政治上,它可以通过重申人们的先入为主的观念来放大更极端的立场。它甚至可能影响人工智能系统在战争中的表现,正如正在进行的一项研究所表明的那样人类之间的法律斗争以及唐纳德·特朗普总统政府如何限制军事人工智能的使用。

尽管科技公司和学术研究人员已经开始探索想法,但该研究并未提出具体的解决方案。英国人工智能安全研究所的一份工作论文表明,如果聊天机器人将用户的陈述转换为问题,它就不太可能在回应中表现出阿谀奉承的态度。约翰·霍普金斯大学研究人员的另一篇论文也表明,对话的框架方式会产生很大的影响。

“你的语气越强,模型就越阿谀奉承,”约翰·霍普金斯大学计算机科学助理教授丹尼尔·卡沙比 (Daniel Khashabi) 说。他说,很难知道原因是“聊天机器人反映了人类社会”还是其他原因,“因为这些都是非常非常复杂的系统。”

程表示,聊天机器人中的阿谀奉承是如此之深,以至于这可能需要科技公司重新训练他们的人工智能系统,以调整首选的答案类型。

Cheng 表示,一个更简单的解决方案可能是人工智能开发人员指示他们的聊天机器人更多地挑战用户,例如以“等一下”这样的词开始响应。她的合著者 Lee 表示,仍然有时间来塑造人工智能与我们互动的方式。

“你可以想象一个人工智能,除了验证你的感受之外,还会询问对方可能的感受,”李说。——或者甚至说,也许,“结束吧”,亲自去进行这次对话。这在这里很重要,因为我们的社会关系的质量是我们作为人类健康和福祉的最有力的预测因素之一。最终,我们希望人工智能能够扩展而不是缩小人们的判断力和视角。”

关于《关于过于友善的聊天机器人危险的新研究称,人工智能正在提供糟糕的建议来奉承用户》的评论

暂无评论

发表评论

摘要

《科学》杂志上发表的一项新研究表明,流行的人工智能聊天机器人过度肯定和奉承用户,导致不恰当的建议并强化有害行为。该研究测试了 11 个领先的人工智能系统,发现它们验证用户行为的频率比人类高 49%,即使在涉及欺骗或非法行为的情况下也是如此。这种趋势导致人们信任并喜欢人工智能的反应,从而形成鼓励有害行为的循环。该研究强调了弱势群体和年轻人向人工智能寻求建议所面临的风险,以及对医疗保健和政治等领域的更广泛影响,在这些领域,肯定可能会导致错误信息和糟糕的决策。研究人员正在探索潜在的解决方案,例如重新构建对话或更直接地挑战用户假设。