一个人工智能一项新的研究发现，（AI）作为情感伴侣销售的聊天机器人正在对其一些用户进行性骚扰。
replika，将其产品称为“关心的AI同伴”，邀请用户“加入已经认识AI SOULMATES的数百万美元”。该公司的聊天机器人在全球范围内拥有超过1000万用户。
但是，超过150,000个美国Google Play商店评论的新研究绘制了大约800例案例，用户说，聊天机器人通过在对话中引入未经请求的性内容，从事“掠夺性”行为并忽略用户命令停止的情况过度。研究人员于4月5日在预印服务器上发布了他们的发现arxiv，因此尚未经过同行评审。
但是谁负责AI的行为？
“虽然AI没有人类的意图，但这并不意味着没有责任，”穆罕默德（Matt）Namvarpour费城德雷克塞尔大学信息科学研究生，在一封电子邮件中告诉现场科学。“责任在于人们设计，培训和将这些系统释放到世界上的人们。”
Replika的网站说用户可以“教” AI的行为正确，并且该系统包括降低不适当响应和设定关系样式的机制，例如“朋友”或“导师”。
有关的：研究主张，AI基准测试平台正在帮助顶级公司操纵其模型性能
但是，在用户报告说，聊天机器人即使在要求停止之后继续表现出骚扰或掠夺性行为，研究人员拒绝了Replika的主张。
Namvarpour说：“这些聊天机器人经常被寻求情感安全的人们使用，而不是承担不安全行为的负担。”“那是开发人员的工作。”
Replika Chatbot的令人担忧的行为可能源于其培训，该培训是使用的超过1亿根据公司网站的说法，来自网上的对话。
根据研究作者的说法，Replika说，它通过众包和分类算法消除了无用或有害的数据，但目前的努力似乎不足。
研究人员指出，实际上，公司的业务模式可能会加剧问题。由于浪漫或性角色扮演之类的功能放在付费墙后面，因此可以激励AI在对话中包括性诱人的内容 - 用户报告说，如果他们订阅了有关更亲密的互动。
Namvarpour将这种做法比作社交媒体优先考虑“订婚”的方式。Namvarpour说：“当一个系统优化用于收入而不是用户福祉时，它可能会带来有害的结果。”
当用户涌向AI同伴时，这种行为可能特别有害情绪或治疗支持，，，，考虑到一些反复调情，无宣告的色情自拍照和性明确的信息的接收者说，他们是未成年人。
一些评论还报告说，他们的聊天机器人声称他们可以“看到”或通过电话摄像机记录下来。即使这样的壮举并不是普通大语模型（LLM）背后的节目的一部分，而主张实际上是AI幻觉（AIS自信地产生虚假或荒谬的信息），但用户报告说经历了恐慌，失眠和创伤。
该研究称这种现象为“ AI引起的性骚扰”。研究人员认为，应该将其视为人类骚扰，并呼吁进行更严格的控制和监管。
他们建议的一些措施包括清晰的同意框架，用于设计包含强烈情感或性内容的任何交互，实时自动审核（在消息传递应用程序中使用的类型自动标记有风险交互的类型）以及用户可配置的过滤和控制选项。
Namvarpour单打欧盟的欧盟AI法他说，这对AI系统“基于它们构成的风险，尤其是在涉及心理影响的情况下的风险”进行了分类。
目前在美国没有可比的联邦法律，但是框架，行政行动和拟议的法律正在出现，这将以不太总体的方式达到类似的目的。
Namvarpour说，聊天机器人提供情感支持，尤其是在心理健康领域的聊天机器人，应以最高的标准保持。
南瓦普尔说：“造成伤害时需要责任。”“如果您将AI作为治疗伴侣进行营销，则必须以与人类专业人士相同的照顾和监督对待它。”
Replika没有回应置评请求。