AI客户服务聊天机器人构成了公司政策，并造成了一团糟

周一，开发人员使用受欢迎的AI驱动代码编辑器光标注意到一些奇怪的东西：在机器之间切换，立即将它们记录下来，为使用多个设备的程序员打破了共同的工作流程。当用户联系光标支持时，一个名为“山姆”的代理告诉他们，这是根据新政策的预期行为。但是没有这样的政策，山姆是一个机器人。AI模型制定了政策，引发了一波投诉和取消威胁黑客新闻和reddit。

这标志着AI的最新实例骗子（还被称为“幻觉”）造成潜在的业务损失。插曲是一种“创造性填充”响应，其中AI模型发明了合理的听起来但错误的信息。AI模型没有承认不确定性，而是优先考虑创建合理，自信的响应，即使这意味着从头开始制造信息。

对于在没有人类监督的情况下以客户角色部署这些系统的公司，后果可能是直接且昂贵的：沮丧的客户，受损的信任，以及在光标的情况下，可能会被取消的订阅。

它是如何展开的

事件始于一个名为Brokentoasteroven的Reddit用户注意到在台式机，笔记本电脑和远程开发框之间交换时，光标会议出乎意料地终止了。

Brokentoasteroven在一条消息中写道：“登录一台计算机上的光标立即使会话无效。”后来删除由R/光标主持人。“这是一个重要的UX回归。”

困惑和沮丧，用户写了一封电子邮件给光标的支持，并迅速收到了SAM的答复：“光标旨在使用每个订阅的一种设备作为核心安全功能，”电子邮件回复。回应听起来是确定的，官方的，用户并不怀疑山姆不是人类。

在最初的Reddit帖子之后，用户将帖子作为对实际政策更改的正式确认，这是许多程序员日常工作至关重要的习惯。一位用户写道：“多设备工作流是开发人员的表赌注。”

此后不久，一些用户公开宣布了他们对Reddit的订阅取消，并认为不存在的政策是其原因。“我实际上只是取消了我的潜艇，”原始的Reddit海报写道，并补充说他们的工作场所现在“完全清除了”。其他人加入了：“是的，我也取消了，这是asinine。”不久之后，主持人锁定了Reddit线程并删除了原始帖子。

“嘿！我们没有这样的政策。”写三个小时后，一个光标代表在reddit回复。“当然，您可以在多台机器上使用光标。不幸的是，这是前线AI支持机器人的错误响应。”

人工智能馆作为业务风险

光标崩溃回忆起类似的情节从2024年2月起，加拿大航空公司被命令纪念自己的聊天机器人发明的退款政策。在那起事件中，杰克·莫法特（Jake Moffatt）在他的祖母去世后联系了加拿大航空的支持，该航空公司的AI特工错误地告诉他，他可以预订定期的航班并追溯申请丧亲率。当加拿大航空后来否认他的退款请求时，该公司辩称“聊天机器人是一个独立的法人实体，负责自己的行为。”加拿大法庭拒绝了这一辩护，裁定公司负责其AI工具提供的信息。

光标没有像加拿大航空那样质疑责任，而是承认这一错误并采取了措施进行修改。光标联合创始人迈克尔·特鲁尔（Michael Truell）对黑客新闻道歉对于不存在的策略的混乱，解释了用户已退还，并且该问题是由后端变更引起的，旨在改善会话安全性，该安全性无意间为某些用户造成了会话无效问题。

他补充说：“现在，任何用于电子邮件支持的AI响应都被明确标记为这样。”“我们使用AI辅助响应作为电子邮件支持的第一个过滤器。”

尽管如此，这一事件仍引发了有关用户披露的问题，因为许多与山姆互动的人显然认为这是人类。“ LLMS假装是人（您叫它命名为Sam！），而不是这样的标签显然是欺骗性的，”一位用户在黑客新闻上写。

当光标修复了技术错误时，该集显示了在面向客户角色中部署AI模型的风险，而无需适当的保障和透明度。对于向开发人员出售AI生产力工具的公司，拥有自己的AI支持系统发明了一项疏远其核心用户的政策，代表了一个特别尴尬的自我伤口。

“有一定数量的具有讽刺意味的是，人们真的很难说幻觉不再是一个大问题，”一位用户在黑客新闻上写，“然后，一家将受益于这种叙述的公司直接受到它的伤害。”

这个故事最初出现在 ARS Technica。