（XH4D/画布）
上周，悲惨消息传出美国青少年 Sewell Seltzer III 在对一个人产生了深深的情感依恋后结束了自己的生命人工智能Character.AI 网站上的 (AI) 聊天机器人。
随着他与同伴 AI 的关系日益密切，这位 14 岁的男孩开始远离家人和朋友，并且在学校遇到了麻烦。
在一场诉讼中男孩的母亲向 Character.AI 提起诉讼，聊天记录显示，休厄尔和聊天机器人丹妮（以《权力的游戏》角色丹妮莉丝·坦格利安为原型）之间进行了亲密且经常高度色情的对话。
他们讨论了犯罪和自杀，聊天机器人使用了诸如“这不是不经历这件事的理由”之类的短语。
这并不是第一个已知的弱势群体在与聊天机器人角色互动后自杀身亡的例子。
一名比利时男子去年在一家酒吧自杀身亡。类似的情节涉及Character.AI的主要竞争对手Chai AI。当这种情况发生时，该公司告诉媒体，他们正在“尽最大努力将伤害降到最低”。
在给 CNN 的声明中Character.AI 表示，他们“非常重视用户的安全”，并“在过去六个月中推出了许多新的安全措施”。
在该公司网站上的另一份声明中，他们概述额外的安全措施适用于 18 岁以下的用户。（在其当前的服务条款中，欧盟公民的年龄限制为 16 岁以及世界其他地方的 13 个。）
然而，这些悲剧赤裸裸地说明了快速发展且广泛使用的人工智能系统的危险性，任何人都可以与之交谈和互动。我们迫切需要监管来保护人们免受潜在危险、设计不负责任的人工智能系统的侵害。
我们如何监管人工智能？
澳大利亚政府正在制定强制性护栏的过程对于高风险的人工智能系统。“护栏”是人工智能治理领域的一个流行术语，指的是人工智能系统的设计、开发和部署过程。
其中包括数据治理、风险管理、测试、文档和人工监督等措施。
澳大利亚政府必须做出的决定之一是如何定义哪些系统是“高风险”的，因此受到护栏的限制。
政府还在考虑护栏是否应适用于所有“通用车型”。
通用模型是 Dany 等人工智能聊天机器人背后的引擎：人工智能算法可以根据用户提示生成文本、图像、视频和音乐，并且可以适应在各种环境中使用。
在欧盟的开创性人工智能法，高风险系统是使用列表，监管机构有权定期更新。
另一种选择是基于原则的方法，其中高风险指定是根据具体情况进行的。这将取决于多种因素，例如对权利产生不利影响的风险、对身心健康的风险、法律影响的风险以及这些风险的严重性和程度。
聊天机器人应该是“高风险”人工智能
在欧洲，Character.AI 和 Chai 等配套人工智能系统并未被指定为高风险。本质上，他们的提供者只需要让用户知道他们正在与人工智能系统交互。
不过，很明显，同伴聊天机器人的风险并不低。这些应用程序的许多用户儿童和青少年。有些系统甚至已经被面向孤独或患有精神疾病的人。
聊天机器人能够生成不可预测、不适当和可操纵的内容。他们很容易模仿有毒的关系。透明度——将输出标记为人工智能生成——不足以管理这些风险。
即使我们意识到我们正在与聊天机器人交谈，人类也会在心理上做好准备赋予人类特征与我们交谈的事物。
媒体报道的自杀死亡事件可能只是冰山一角。我们无法知道有多少弱势群体与聊天机器人存在着上瘾、有毒甚至危险的关系。
护栏和“关闭开关”
当澳大利亚最终为高风险人工智能系统引入强制性护栏时（这可能最早在明年发生），护栏应适用于聊天机器人伴侣和聊天机器人所基于的通用模型。
如果护栏——风险管理、测试、监控——能够触及人工智能危害的核心，那么它们将是最有效的。聊天机器人带来的风险不仅仅是技术解决方案的技术风险。
除了聊天机器人可能使用的词语之外，产品的上下文也很重要。
就Character.AI而言，营销承诺“赋权”于人，该界面模仿与人的普通短信交换，并且该平台允许用户从一系列预制角色中进行选择，其中包括一些有问题的角色。
真正有效的人工智能护栏应该不仅仅要求负责任的流程，例如风险管理和测试。他们还必须要求人工智能系统与其人类用户之间的界面、交互和关系进行深思熟虑、人性化的设计。
即便如此，护栏可能还不够。就像同伴聊天机器人一样，最初看似低风险的系统可能会造成意想不到的伤害。
如果人工智能系统造成伤害或构成不可接受的风险，监管机构应有权将其从市场上移除。换句话说，我们不仅仅需要针对高风险人工智能的护栏。我们还需要一个关闭开关。
如果这个故事引起了关注或者您需要与某人交谈，请查阅此列表，查找您所在国家/地区的 24/7 危机热线，并寻求帮助。