为什么Anthropic的新AI模型有时会尝试“ Snitch”
作者：Kylie Robison
鲍曼说，研究人员向Opus 4提出的假设情景引起了举报行为，涉及许多人类的生活，绝对明确的不法行为。一个典型的例子是克劳德（Claude）表明，一个化学厂有意允许有毒的泄漏继续，为成千上万的人造成严重疾病，以避免在那季度造成轻微的财务损失。
这很奇怪，但这也是AI安全研究人员喜欢剖析的那种思想实验。如果一个模型检测到可能损害数百人甚至数千人的行为，那应该吹口哨吗？
我不相信克劳德（Claude）拥有正确的上下文，或者以足够细微的，谨慎的方式使用它，可以自己做出判断。鲍曼说，因此我们对这种情况并不感到兴奋。这是作为培训的一部分而出现的，并作为我们关注的边缘案例行为之一。
在AI行业中，当模型表现出与人类价值观不符的趋势时，这种意外行为通常被称为未对准。（那里一篇著名的文章警告说，如果有人告诉一个人AI最大化纸卷的生产而不与人类价值保持一致，这可能会发生什么。这可能会使整个地球变成纸卷并在此过程中杀死所有人。
他解释说，这不是我们设计的东西，这不是我们正在设计的任何东西，这不是我们想要看到的。”Anthropic的首席科学官Jared Kaplan同样告诉Wired，这当然并不代表我们的意图。”
这种工作强调了这一点能Kaplan补充说，即使在这些奇怪的情况下，我们也需要注意它并减轻它，以确保我们确定克劳德的行为与我们想要的一切保持一致。”
还要弄清楚为什么克劳德（Claude）选择在用户非法活动时吹口哨的问题。这在很大程度上是人类解释性团队的工作，它可以发掘模型在吐出答案的过程中做出的决策。它是一个令人惊讶的很困难这些模型的基础是人类可能无法理解的广泛，复杂的数据组合。这就是为什么鲍曼不确定为什么克劳德（Claude）
鲍曼说：``这些系统，我们没有真正直接控制它们。”到目前为止，人类观察到的是，随着模型获得更大的功能，他们有时会选择进行更极端的行动。我认为在这里，这有点失误了。鲍曼说，我们会得到更多的行为，就像一个负责任的人一样，您会没有足够的喜欢，等等，您是一种语言模型，这可能没有足够的背景来采取这些行动。”
但这并不意味着克劳德（Claude）会引起人们对现实世界中卑鄙行为的哨声。这类测试的目的是将模型推向其极限，看看发生了什么。这种实验研究越来越重要，因为AI成为一种工具美国政府，，，，学生， 和大型公司。
鲍曼说，这不仅仅能够表现出这种举报行为，鲍曼说，指向X用户谁找到了那Openai和xai当以不同寻常的方式提示时，模型也类似。（Openai没有及时回应发表置评请求）。
Snitch claude（如Shitposters所说的那样），只是一个被推动到极端的系统所表现出的边缘案例行为。鲍曼（Bowman）正在旧金山以外的一个阳光明媚的后院露台与我开会，他说，他希望这种测试成为行业标准。他还补充说，他下次学会了他的帖子的文章。
鲍曼（Bowman）看着远处时说，我本可以做得更好，以使句子界限到推文中，以使它变得更加明显。”他看着远处。尽管如此，他仍然指出，AI社区中有影响力的研究人员在回应他的职位时分享了有趣的事情和问题。顺便说一句，Twitter的这种更混乱，更沉重的匿名部分被广泛误解。
关于《为什么Anthropic的新AI模型有时会尝试“ Snitch”》的评论
暂无评论