克劳德（Claude）的新的AI文件创建功能发货
独立的AI研究员西蒙·威利森（Simon Willison），今天在他的博客上回顾了该功能著名的Anthropic的建议“在使用该功能的同时监视Claude”的建议是“将问题不公平地外包给人类的用户”。
拟人化的缓解
但是，拟人化并不能完全忽略问题。该公司已针对文件创建功能实施了几项安全措施。对于Pro和Max用户，拟人化的禁用公众共享使用文件创建功能的对话。对于企业用户，公司实现了沙盒隔离，因此在用户之间永远不会共享环境。该公司还限制了任务持续时间和集装箱运行时“避免恶意活动的循环”。
对于团队和企业管理员，人类也可以提供Claude可以访问的域允许列表，包括API.Anthropic.com，Github.com，github.com，registry.npmjs.s.org和pypi.org。该文档指出：“只能将Claude欺骗到通过单个用户的提示，项目或激活的连接中泄漏其在对话中访问的数据。”
Anthropic的文档指出，该公司“有一个持续的安全测试和此功能红色团队的过程”。该公司鼓励组织“在决定是否启用此功能时对其特定的安全要求进行评估”。
提示注射盛装
威利森说，即使采取了拟人的安全措施，他也会谨慎。他在博客上写道：“我打算使用此功能谨慎使用任何我非常想泄露给第三方的数据，如果有恶意的指示可能会偷偷摸摸的话，”他在博客上写道。
我们覆盖Anthropic的Claude for Chrome具有类似的潜在迅速注射脆弱性，该脆弱性是上个月作为研究预览的。对于考虑克劳德（Claude）的敏感业务文件的企业客户而言，人类对手决定使用有记录的漏洞发货的决定表明，竞争压力可能是AI军事竞赛中的安全考虑因素。
这种“首先，稍后再安全”的理念在像威利森这样的AI专家中引起了挫败感，他们广泛记录了迅速注射脆弱性（和创造期限）。他最近描述的当前的AI安全状况在他的博客上是“令人恐惧的”，并指出这些迅速注射漏洞在我们刚开始谈论它们后近三年中仍然很普遍。”
威利森在从2022年9月开始的有先见之明的警告中写道：“在我们有强大的解决方案之前，可能根本不应建立系统。”他最近的评估？“看来我们还是建造了它们！”
关于《克劳德（Claude）的新的AI文件创建功能发货》的评论
暂无评论