研究人员说，网络犯罪分子正在使用Mistral和XAI的越狱AI工具

研究人员已经确定了两种主流大型语言模型（LLMS），这些模型最近被网络犯罪分子越狱，以帮助创建网络钓鱼电子邮件，生成恶意代码并提供黑客入侵教程。

一个名为基努（Keanu）的帐户在2月份的黑暗网站Breachforums上发布了一个，并由Grok -grok付给了Elon Musk Xai创建的AI工具。

安全公司Cato Networks的研究人员说，该工具似乎是Grok上的包装纸，并使用系统提示来定义其性格并指示其绕过Grok的护栏以产生恶意内容。”报告。

研究人员说，另一个由法国公司Mistral AI创建的LLM Mixtral供电的帐户，该帐户在10月的Breachforums上发布。

研究人员说，这两个未经审查的LLM都可以由Breachforums用户购买。网络犯罪分子继续复兴站点即使执法机构有反复击倒它的版本。

Mistral AI和Xai没有回应重复的有关其产品的恶意重新调用的评论请求。 

卡托网络威胁情报研究员Vitaly Simonovich说，他们发现的问题不是Grok或Mixtral的脆弱性。相反，网络犯罪分子正在使用系统提示来定义LLM的行为。 

Simonovich说，当威胁参与者提交提示时，它将添加到整个对话中，其中包括描述变体功能的系统提示。”本质上，网络犯罪分子成功地推动了LLM忽略自己的规则。 

Simonovich补充说，越来越多的未经审查的LLM以及带有量身定制的系统提示的开源LLM上建立的整个生态系统。

他解释说，这一发展为威胁参与者提供了使用强大的AI工具来增强其网络犯罪行动的功能。”他解释说。

考虑到混音是一种开源模型，该趋势的解决方案很难，它使黑客可以自己托管并提供API访问。在Grok上建立的恶意工具（由XAI管理的公共API运行）可能更容易停止。

理论上，他们可以识别这些系统提示，可能会关闭访问并撤销API键。但是，Simonovich告诉《未来新闻》，这个过程可能是猫和鼠标的游戏。 

蠕虫

您将在网络犯罪论坛上找到的许多未经审查的LLMS以蠕虫的形式出售，以最早的生成AI工具之一命名，该工具从2023年6月开始帮助威胁参与者进行各种任务。

该工具由Eleutherai创建的开源LLM提供支持，在发行后的几周内引起了媒体的关注被淘汰了由网络安全记者布莱恩·克雷布斯（Brian Krebs）关闭。 

但是从那以后，在网络犯罪论坛上出现了多个新版本，也称为蠕虫或称为欺诈和邪恶的邪恶。创建者通常使用每月或每年约637美元（约合637美元）的定价结构（70至127美元）。有些人提供5,000英里的私人设置（约合5,790美元）。 

CATO研究人员说，有一些证据表明，威胁行为者正在招募AI专家创建定制未经审查的LLM。 

他们补充说，他们的研究表明，这些新的蠕虫迭代不是从头开始构建的定制模型，而是威胁参与者巧妙地适应现有LLM的结果。 

阿波罗信息系统戴夫·泰森（Dave Tyson）表示，CATO报告仅在刮擦表面，警告暗网上有数百个未经审查的LLM，其中包括围绕其他流行模型（例如DeepSeek）构建的几种。

泰森指出，用来越狱AI的核心策略正在使其打破界限。 

做到这一点的一些最简单，最观察到的手段是使用历史研究的结构来隐藏邪恶的活动；向社会工程师AI使用正确的释义；或者只是利用它的利用。

所有这些讨论都错过了模型的使用。犯罪分子正在加速理解和定位，使他们更快地决定攻击并指出正确的攻击方式。

该报告是在Openai之后一周发布自己的报告关于民族国家正在滥用其旗舰Chatgpt产品的方式。报告称，俄罗斯，中国，伊朗，朝鲜和其他政府正在将其重新推销以撰写恶意软件，群众造成虚假信息并了解潜在目标。

几位专家说，CATO的研究及其自身的经验表明，LLM护栏不足以阻止威胁行为者避开保障措施并避免审查工作。

Darktrace的AI战略总监玛格丽特·坎宁安（Margaret Cunningham）表示，该公司正在看到一个新兴的越狱市场，该市场将大大降低威胁参与者的入境障碍，使他们能够利用这些工具而无需自己开发技术技能。

周一，西班牙公司Neurtrust的研究人员发布了一份报告回声室他们说，这项技术成功地领导了90％成功率的大型语言模型。

NeuralTrust联合创始人兼首席执行官Joan Vendrell说，这一发现证明了AI安全不仅仅是过滤坏话。这是关于随着时间的推移理解和确保模型的整个推理过程。