Anthropic指出AI有潜力“自动化复杂的破坏性网络攻击”
作者：Written by Tiernan Ray, Senior Contributing Writer Oct. 16, 2024 at 4:47 p.m. PT
Anthropic，创建了克劳德家族关于大型语言模型，本周它更新了其软件安全控制政策，以反映其所称的恶意行为者可能利用AI模型自动化网络攻击的风险。
PDF文档，详细介绍了公司的“负责任扩张政策”，概述了几个程序变更，称这些变更是为了监控AI模型被滥用的持续风险。这包括几个级别的逐步升级的风险级别，被称为人工智能安全水平标准（ASL），定义为“技术和运营保障措施”。
также： （由于"Also:"本身没有具体含义，直接按照要求输出，但注意到原文是英文表达，而请求的是中文形式，在此情形下应调整为更符合中文习惯的表达方式。正确的翻译或表达应该是："此外：" 或者根据上下文选择最合适的词汇） Gmail用户请注意新的AI诈骗，看起来非常真实
作为公司对AI模型进行安全“常规测试”的一部分，被称为“能力评估”，Anthropic报告称，他们发现了一项需要“深入调查并可能需要更强安全保障”的能力。
该能力被描述为网络操作中的威胁：“能够显著增强或自动化复杂的破坏性网络攻击，包括但不限于发现新颖的零日漏洞利用链、开发复杂恶意软件或协调广泛的难以检测的网络入侵。”
该报告描述了将采取的措施，以持续调查此事。
这将涉及与网络操作专家合作，评估前沿模型在增强和缓解网络威胁方面的潜力，并考虑实施分层访问控制或逐步部署具有先进网络安全能力的模型。我们将进行预部署或后部署测试，包括专门评估。我们将记录任何显著结果并与我们的能力报告一同发布。
目前，Anthropic的所有人工智能模型都必须符合ASL“二级”要求。该级别“需要一个很可能能够挫败大多数机会主义攻击者的安全系统，并包括供应商和供应商的安全审查、物理安全措施以及采用以安全性为设计原则的方法”，报告指出。
更新的政策可以被视为Anthropic和OpenAI为了在关于如何监管人工智能技术的辩论中自愿承诺限制人工智能发展而做出的一部分努力。八月，该公司与OpenAI达成了协议与美国商务部国家标准和技术研究院(NIST)的美国人工智能安全研究所合作，开展人工智能的研究、测试和评估工作。
also:认为AI可以解决你所有的商业问题？苹果公司的新研究显示并非如此
关于AI自动化网络攻击的想法已经流传了一段时间。防火墙供应商Check Point软件技术公司去年发出警告俄罗斯的国家行为者试图进行妥协开放人工智能公司的ChatGPT为了自动化网络钓鱼攻击。
端点安全软件供应商CrowdStrike这个夏天报道了that生成式AI容易受到各种精心制作的提示的影响，这些提示可以破坏程序的安全防护措施。
暂无评论