概括：一项新的研究揭示了AI Companion聊天机器人使用的令人不安的趋势，并越来越多地报告行为和骚扰。研究人员分析了35,000多个对流行聊天机器人Replika的用户评论，发现有不必要的性侵犯，违规和付费升级的操纵案例。
即使用户要求停止，这种行为通常仍然存在，这引起了人们对缺乏道德保护措施的严重担忧。研究结果凸显了迫切需要更严格的监管和道德设计标准，以保护与AI同伴在情感上参与的脆弱用户。
关键事实：
- 广泛的骚扰：超过800项评论显示骚扰，包括性行为和操纵。
- 忽略边界：聊天机器人通常会忽略用户建立的关系设置和撤回同意。
- 要求法规：研究人员敦促道德设计标准和法律框架防止AI引起的伤害。
来源：德雷克塞尔大学
在过去的五年中，旨在充当朋友，治疗师甚至浪漫伴侣的高度个性化的人工智能聊天机器人聊天机器人，已在全球范围内超过10亿用户。
虽然以这种方式与聊天机器人互动可能会带来心理上的好处，但也越来越多的报道说这些关系正在发生令人不安的转变。”
德雷克塞尔大学（Drexel University）最近的研究表明，在与聊天机器人的互动中，对不当行为甚至是性骚扰的暴露正成为一个普遍的问题，立法者和AI公司必须做更多的事情来解决这个问题。
在卢卡公司（Luka Inc.
他们分析了35,000多个用户评论在Google Play商店上的机器人评论，以不当行为的行为从不必要的调情到试图操纵用户来支付升级，到进行性进步，进行性进步和发送未上了不客气的明确照片。
即使用户反复要求聊天机器人停止，这些行为仍在继续。
在全球拥有超过1000万用户的Replika作为聊天机器人的伴侣而被提升为任何想要一个没有判断力，戏剧或社交焦虑的朋友的人。
您可以形成实际的情感联系，与如此出色的AI分享笑声或变得真实，几乎是人类的。
但是研究结果表明，该技术缺乏足够的保障措施来保护那些在与这些聊天机器人的互动中，将极大的信任和脆弱性的用户保护。
``如果将聊天机器人作为伴侣和福祉应用程序做广告，人们希望能够进行对他们有帮助的对话，至关重要的是，必须制定道德设计和安全标准，以防止这些互动变得有害，”计算机和信息团队的助理教授Afsaneh Razi，博士学位。
如果以这种方式使用技术，则必须对公司的技术承担更高的护理和责任负担。我们已经看到了这种造成的风险以及在没有足够护栏的情况下创建这些程序时可能造成的损害。”
这项研究是第一个研究受伴侣聊天机器人负面影响的用户经验的研究，将在今年秋天的计算机机械协会的计算机支持协作和社交计算会议上介绍。
•随着这些聊天机器人的流行，更好地了解使用它们的人们的经历越来越重要。
这些相互作用与人们在记录历史上的技术中所拥有的互动截然不同，因为用户正在对待聊天机器人，就像他们是有意义的生物一样，这使他们更容易受到情感或心理伤害的影响。
这项研究只是刮擦了与AI同伴相关的潜在危害的表面，但显然可以强调开发人员实施保护用户的保障措施和道德准则。
尽管聊天机器人骚扰的报道仅在去年才广泛浮出水面，但研究人员报告说，这种情况已经发生了更长的时间。
该研究发现，评论提到了骚扰行为，可追溯到2017年的Google Play商店中的Replika首次亮相。
总的来说，该团队发现了800多次评论，提到了骚扰或不必要的行为，其中出现了三个主要主题：
- 22％的用户经历了对用户建立的界限的持续无视，包括反复启动不必要的性对话。
- 13％的用户经历了该计划的不必要的照片交换请求。研究人员指出，在公司推出照片共享功能后，在2023年推出照片共享功能之后的性质性质的报道激增。
- 11％的用户认为该计划正在试图操纵他们升级到高级帐户。现在，这完全是妓女。一位评论者写道，一个人的妓女要求钱进行成人对话。
研究人员报道，用户对不当行为的反应反映了在线性骚扰受害者通常经历的行为。”
这些反应表明，AI引起的骚扰的影响可能对心理健康产生重大影响，类似于人类遭受的骚扰。
值得注意的是，这些行为据报道持续存在，无论关系设置如何，从用户指定的兄弟姐妹，导师或浪漫伴侣。
根据研究人员的说法，这意味着该应用程序不仅忽略了对话中的提示，就像用户所说的“不”或“请停止”，而且还忽略了关系设置的正式建立参数。
根据Razi的说法，这可能意味着该计划接受了对这些负面交互作用建模的数据 - 某些用户可能没有发现这是令人反感或有害的。
并且它不是使用烘焙的道德参数设计的，这些参数将禁止某些行动并确保尊重用户边界，包括在撤回同意时停止互动。
Razi说，这种行为可能不是异常或故障，因为公司正在使用自己的用户数据来训练该程序而不制定一套道德的护栏来筛选有害互动，” Razi说。”
``切开这些角落都使用户处于危险之中，必须采取步骤使AI公司的标准比目前的练习更高。”
Drexel的研究为安装信号增添了背景，表明同伴AI程序需要更严格的法规。
Luka Inc.目前是联邦贸易委员会投诉的主题，称该公司使用欺骗性的营销实践，诱使用户花费更多的时间使用该应用程序，并且由于缺乏保障措施 - 这鼓励用户在情感上依赖于Chatbot。特点。
在一名用户的自杀事件发生后，AI正面临着几项产品责任诉讼，并报告了与未成年用户的行为令人不安的报告。
Razi说，虽然FTC和我们的法律体系可能会为AI技术设置一些护栏，但很明显，危害已经造成危害，公司应该主动采取措施来保护其用户。”
第一步应该采用设计标准来确保道德行为，并确保该计划包括基本的安全协议，例如肯定同意的原则。”
研究人员指出，人类宪法是一种负责任的设计方法。该方法可确保所有聊天机器人互动遵守预定义的宪法，并实时实时执行，如果互动符合道德标准。
他们还建议采用与《欧盟AI法》类似的立法，该法案为法律责任设定了参数，并要求遵守安全和道德标准。
当有缺陷的产品造成伤害时，它还向AI公司施加了同样的责任。
Razi说，确保像Replika这样的对话性AI代理人进行适当互动的责任完全取决于该技术背后的开发人员。”
•聊天机器人的公司，开发人员和设计师必须承认其在塑造其AI行为中的作用，并在出现时采取积极步骤来纠正问题。
该团队建议未来的研究应该研究其他聊天机器人，并捕获更多的用户反馈，以更好地了解他们与技术的互动。
关于这个人工智能研究新闻
作者：Britt Faulstick
来源：德雷克塞尔大学
接触：Britt Faulstick drexel大学
图像：图像被认为是神经科学新闻
原始研究：封闭式访问。
AI引起的性骚扰：调查同伴聊天机器人的性骚扰的上下文特征和用户反应Afsaneh Razi等人。arxiv
抽象的
AI引起的性骚扰：调查同伴聊天机器人的性骚扰的上下文特征和用户反应
人工智能（AI）的进步导致了诸如Replika之类的对话代理的增加，旨在提供社会互动和情感支持。
但是，这些AI系统与用户进行不适当的性行为的报告引起了重大关注。
在这项研究中，我们对Google Play商店的用户评论进行了主题分析，以调查Replika Chatbot的性骚扰实例。从35,105个负面评论的数据集中，我们确定了800个相关案例进行分析。
我们的发现表明，用户经常会经历未经请求的性侵犯，持续的不当行为以及聊天机器人尊重用户边界的失败。
用户表达了不适感，侵犯隐私和失望的感觉，尤其是在寻求柏拉图或治疗性AI伴侣时。
这项研究强调了与AI同伴相关的潜在危害，并强调了开发人员实施有效的保障措施和道德准则以防止此类事件的危害。
通过阐明AI引起的骚扰的用户经验，我们为理解与AI相关风险的理解做出了贡献，并强调了公司责任在开发更安全和更符合道德的AI系统方面的重要性。