人工智能 - 大惊小怪？

概述：好与坏

现在，我们几乎每天都在观看“图灵测试”的神圣里程碑，因为计算机界面已经从与人类的语言相提并论，变成了类似，无法分辨，可以说是优越的，可以说^[1]。

大型语言模型（LLM）的发展始于2000年代初期的自然语言处理（NLP）的进步，但主要的突破是Ashish Vaswani的2017年论文，“您需要注意的只是您所需要的。”这可以在广泛的数据集上训练更大的模型，从而大大提高语言理解和产生。

像任何技术一样，LLM是中性的，可以被攻击者和捍卫者使用。关键问题是，哪一方将受益更多或更快？

让我们更详细地研究这个问题。这只是我们在安全导航器2025，但它涵盖了与在安全性或技术环境中工作的每个人有关的一些要点。如果您想了解更多有关“提示注射”技术或AI在安全技术中的有效使用的信息，我邀请您获取完整的报告！

国防行动的AI

• 可以提高办公室的生产力和沟通
• 可能会改善搜索，研究和开源智能
• 可以实现有效的国际和跨文化传播
• 可以协助整理和汇总多样的非结构化文本数据集
• 可以协助进行安全情报和事件信息的文档
• 可以协助分析潜在的恶意电子邮件和文件
• 可以协助识别欺诈性，假或欺骗性文字，图像或视频内容。
• 可以协助侦察和漏洞发现等安全测试功能。

一种或另一种形式的AI长期以来一直在各种安全技术中使用。

以例如：

• 入侵检测系统（ID）和威胁检测。安全供应商DarkTrace使用ML自主检测和响应威胁，通过利用对历史数据培训的行为分析和ML算法来实时响应威胁，以标记与正常活动的可疑偏差。
• 网络钓鱼检测和预防。ML模型用于诸如Proofpoint和Microsoft Defender之类的产品，这些产品使用ML算法来识别和阻止网络钓鱼攻击来分析电子邮件内容，元数据和用户行为以识别尝试钓鱼的尝试。
• 端点检测和响应（EDR）。EDR产品像CrowdStrike Falcon这样的产品利用ML来确定异常行为，并在端点上检测和减轻网络威胁。
• Microsoft Copilot用于安全性。Microsoft的AI驱动解决方案旨在通过利用生成AI（包括OpenAI的GPT模型）来简化威胁检测，事件响应和风险管理来帮助安全专业人员。

进攻行动中的人工智能

• 也可以提高办公室的生产力和不良演员的沟通
• 可能会改善搜索，研究和开源智能
• 可以实现有效的国际和跨文化传播
• 可以协助进行整理和汇总，对非结构化的文本数据集（例如用于网络钓鱼/矛式钓鱼攻击的社交媒体配置文件）
• 可以协助侦察和脆弱性发现等攻击过程。
• 可以协助创建可信的文本，用于网络攻击方法，例如网络钓鱼，水知仓和恶化。
• 可以协助创建欺诈性，假或欺骗性文字，图像或
• 视频内容。
• 可能促进意外数据泄漏或未经授权的数据访问
• 可能会带来一个新的，脆弱的和有吸引力的攻击表面。

进攻行动中AI的现实世界例子相对罕见。值得注意的实例包括麻省理工学院的自动剥削生成（AEG）^[2]和IBM的Deeplocker^[3]，展示了AI驱动的恶意软件。这些仍然是概念验证。2019年，我们的研究团队使用主题建模提出了两次基于AI的攻击^[4]，显示了AI的网络映射和电子邮件分类的进攻潜力。虽然我们没有看到这种功能的广泛使用，但在2024年10月，我们的证书报告^[5]Rhadamanthys恶意软件AS-A-Service（MAAS）在包含敏感信息（例如密码）的图像上进行了光学角色识别（OCR），这标志着AI-driven驱动的进攻能力的最接近现实世界实例。

LLM越来越多地被进攻地使用，尤其是在骗局中。一个突出的例子是英国工程集团Arup^[6]据报道，这种欺诈者损失了2500万美元，这些欺诈者在视频会议上使用高级经理的数字克隆声音订购了金融转移。

AI驱动器会威胁吗？

对于系统地考虑LLM技术的潜在风险，我们研究了四种观点：不采用LLMS，现有的AI威胁，特定的LLMS的新威胁以及随着LLMS纳入商业和社会的更大风险。这些方面在以下图形中可视化：

分支1：非补习风险

我们交谈的许多客户感到采用LLM的压力，CISO尤其担心“非补习风险”，这是由三个主要因素驱动的：

• 效率损失：领导者认为，诸如副驾驶或chatgpt之类的LLM会提高工人的效率，并担心落后于采用他们的竞争对手。
• 机会损失：LLM被视为发现新的商机，产品或市场渠道，并且未能利用他们的风险失去竞争优势。
• 可销售性损失：随着人工智能主导的讨论，企业担心不在产品中展示AI会使它们与市场无关。

这些问题是有效的，但是假设通常未经测试。例如，UPWORK研究机构的2024年7月的调查^[7]揭示了“ 96％的C套件领导者期望AI工具提高生产力”。但是，该报告指出：“使用AI的员工中有将近一半（47％）表示他们不知道如何提高雇主期望的生产率，而77％的员工表示这些工具实际上降低了生产率并增加了工作量。

“由AI驱动”的营销价值仍在争论中。FTC最近的一份报告指出，消费者对AI的整个生命周期表示担忧，尤其是对基于AI的产品决策的上诉途径有限。

企业必须考虑采用LLM的真实成本，包括直接支出，例如许可，实施，测试和培训。由于分配给LLM采用的资源本可以在其他地方投资，因此还有一个机会成本。

安全和隐私风险也需要考虑到更广泛的经济外部性，例如LLM培训的大量资源消耗，这需要大量的功率和用水。根据一篇文章^[8]在未来六年中，微软的AI数据中心可能会比整个印度更能消耗更多的功率。显然，“它们将被数百万加仑的水冷却。”

除了资源压力之外，还有道德问题，因为创意作品通常被用来未经创建者的同意，影响艺术家，作家和学术界的模型。此外，随着这些系统积累财富，数据和控制，少数所有者的AI集中可能会影响商业，社会和地缘政治。尽管LLMS有望提高生产率，但企业冒着牺牲方向，视野和自主权的风险。在权衡非采购风险时，必须仔细地与直接，间接和外部成本（包括安全）进行仔细平衡。如果没有清楚地了解LLM可能带来的价值，企业可能会发现风险和成本超过了奖励。

分支2：AI的现有威胁

2024年10月中旬，我们的“世界观察”安全情报能力发表了一项咨询，总结了进攻性参与者对AI的使用，如下所示：“ APS的AI采用AI仍然可能在早期阶段，但这只是时间问题，它变得更加广泛。”国家一致和国家赞助的威胁群体中最常见的方式之一是在其杀戮链中采用AI，是使用生成的AI聊天机器人（例如Chatgpt）出于恶意目的。我们评估这些用法取决于每个小组的能力和兴趣。

• 据称，北朝鲜威胁行为者利用LLM可以更好地了解公开报告的漏洞^[9]，用于基本的脚本任务和目标侦察（包括社会工程中使用的专用内容创建）。
• 看到伊朗团体生成网络钓鱼电子邮件，并使用LLM进行网络刮擦^[10]。
• 中国团体（例如木炭台风滥用LLM）代表后副业行为的高级指挥官^[10]。

10月9日，Openai披露^[11]自年初以来，它破坏了20多个旨在调试和开发恶意软件，散布错误信息，逃避检测以及发起矛式捕捞攻击的滥用。这些恶意用法归因于中国（甜蜜的镜头）和伊朗威胁行为者（Cyber​​av3ngers和Storm-0817）。中国群集甜点（由Palo Alto Networks追踪为TGR-STA-0043）甚至针对Openai的员工进行了矛盾的攻击。

最近，还观察到了国家赞助的威胁团体进行虚假信息并影响针对美国总统大选的运动。伊朗，俄罗斯和中国威胁行为者的几项运动利用AI工具来侵蚀公众对美国民主制度的信任或抹黑候选人。微软在2024年的数字防御报告中证实了这一趋势，并补充说，这些威胁参与者正在利用AI创建假文本，图像和视频。

网络犯罪

除了利用合法的聊天机器人外，网络犯罪分子还创建了“ Dark LLM”（专门用于欺诈目的的模型），例如Fraudgpt，Wormgpt和Darkgemini。这些工具用于自动化和增强网络钓鱼活动，帮助低技能开发人员创建恶意软件并生成与骗局相关的内容。它们通常在Darkweb和Telegram上做广告，重点是该模型的犯罪功能。

一些财务动机的威胁小组也将AI添加到其恶意软件应变中。有关犀牛InfoStealer的新版本的最新世界观察咨询，描述了依靠AI来分析可能包含重要信息的图像，例如密码或恢复短语。

在我们对网络犯罪论坛和市场的持续监视中，我们观察到了支持社会工程活动的恶意服务的明显增加，包括：

• 深击，尤其是针对七分之一的浪漫计划。随着时间的流逝，这项技术变得越来越令人信服和便宜。
• AI驱动的网络钓鱼和BEC工具旨在促进网络钓鱼页面，社交媒体内容和电子邮件副本的创建。
• AI驱动的语音网络钓鱼。Google在7月23日发布的报告中透露^[12]通过商品化的语音合成器促进的AI驱动的捕钓（或语音散布）是一种新兴的威胁。

脆弱性开发

当使用CVE描述编写利用代码时，AI仍然面临限制。如果该技术改善并更容易获得，那么网络犯罪分子和国家支持的参与者都可能感兴趣。能够自主发现关键脆弱性，编写和测试利用代码，然后将其用于目标的LLM可能会对威胁格局产生深远的影响。因此，使用高级AI模型的任何人都可以使用开发技能。幸运的是，大多数产品的源代码不容易用于培训此类型号，但是开源软件可能会呈现有用的测试箱。

分支3：LLMS的新威胁

广泛采用的LLM采用的新威胁将取决于如何和何处使用该技术。在本报告中，我们严格关注LLM，并且必须考虑它们是否掌握在攻击者，企业或整个社会手中。对于企业，他们是LLM服务或提供商的消费者吗？如果提供商是他们建立自己的模型，采购模型或从他人那里采购全部功能吗？

每种情况都引入了不同的威胁，需要量身定制的控件来减轻该用例特定的风险。

对消费者的威胁

消费者使用外部提供商的Genai产品和服务，而提供商会创建或增强面向消费者的服务，无论是通过开发内部模型还是使用第三方解决方案来利用LLMS。随着时间的流逝，许多企业可能会采用这两个角色。

重要的是要认识到，几乎可以肯定的是，员工已经在使用公共或本地的Genai来进行工作和个人目的，这对企业构成了其他挑战。对于那些消费外部LLM服务的人，无论是企业还是个人员工，主要风险都围绕数据安全，并需要考虑其他合规性和法律问题。与数据相关的主要风险包括：

数据泄漏：工人可以直接或通过其查询性质直接向诸如Chatgpt之类的LLM系统披露机密数据。

幻觉：Genai可能会产生员工可能会纳入其工作中的不准确，误导或不适当的内容，从而可能产生法律责任。生成代码时，可能会出现越野车或不安全^[13]。

知识产权：随着企业使用数据来培训LLM并将产出纳入其知识产权，因此关于所有权的未解决问题可能会使他们承担侵犯权利的责任。

Genai的产出仅在准确，适当和合法的情况下提高生产率。不受管制的AI生成的产出可能会给企业带来错误信息，责任或法律风险。

对提供者的威胁

当企业选择将LLM集成到自己的系统或流程中时，出现了完全不同的威胁。这些可以大致分类如下：

与模型相关的威胁

训练有素或经过调整的LLM对其开发人员具有巨大的价值，因此受到其机密性，正直和可用性的威胁。

在后一种情况下，对专有模型的威胁包括：

• 盗窃模型。
• 对抗性的“中毒”会对模型的准确性产生负面影响。
• 模型的破坏或破坏。
• 可能从模型中产生的法律责任，产生错误，虚假，误解，不适当或非法内容的法律责任。

但是，我们评估，当组织在其技术环境中实施Genai时，最有意义的新威胁将从增加的攻击表面中出现。

Genai作为攻击表面

Genai是复杂的新技术，包括数百万行的代码，这些代码扩大了攻击表面并引入了新的漏洞。

随着Genai Genai工具（例如Chatgpt和Microsoft Copilot）已广泛使用，它们将不再提供重要的竞争优势。LLM技术的真正力量在于将其与企业的专有数据或系统集成，以改善客户服务和内部流程。一种关键方法是通过由Genai驱动的交互式聊天接口，用户与生成连贯的上下文感知响应的聊天机器人进行交互。

为了增强这一点，聊天界面必须利用诸如检索功能（RAG）和API等功能。Genai处理用户查询，RAG从专有知识库中检索相关信息，而API将Genai连接到后端系统。这种组合允许聊天机器人在与复杂的后端系统进行交互时提供上下文准确的输出。

但是，将Genai作为用户与公司的后端系统之间的安全边界，通常直接直接进入Internet，引入了重要的新攻击表面。就像2000年代出现的图形Web应用程序界面可为业务客户提供简单，直观的访问一样，此类聊天接口可能会改变数字渠道。与图形网络接口不同，Genai的非确定性意味着即使是其开发人员也可能无法完全理解其内部逻辑，从而为脆弱性和剥削创造了巨大的机会。攻击者已经在开发利用这种不透明的工具，从而导致与早期Web应用程序相似的潜在安全挑战，这些挑战仍然困扰着当今的安全防御者。

从他们的“护栏”中欺骗LLM

开放的Web应用程序安全项目（OWASP）已将“快速注射”确定为Genai应用程序中最关键的漏洞。这次攻击通过将特定说明嵌入用户输入中以触发意外或有害的响应，可能揭示机密信息或绕过保障措施来操纵语言模型。攻击者制作的输入覆盖了模型的标准行为。

发现和利用快速注射的工具和资源很快就会出现，类似于Web应用程序黑客入侵的早期。鉴于LLMS的复杂性以及将聊天接口与专有系统连接起来所需的数字基础架构，我们预计聊天界面黑客将是多年来的重大网络安全问题。

随着这些体系结构的增长，传统的安全实践，例如安全开发，架构，数据安全以及身份和访问管理将变得更加至关重要，以确保在这种不断发展的景观中的适当授权，访问控制和特权管理。

2024年10月，当“ NSFW” AI Chatbot网站Muah.ai被违反时，黑客将该平台描述为“少数开源项目的导管在一起”。显然，根据报道，“找到可以访问该平台数据库的漏洞，这绝对没有问题”。我们预测，此类报告将在未来几年内变得司空见惯。

结论：更多的不是一个新维度

像任何强大的技术一样，我们自然会担心LLM在我们的对手手中可能产生的影响。人们对AI如何加速威胁的问题引起了很多关注。当然，由于这种明显的变化而出现的不确定性和焦虑当然是被利用的，以争取对安全性进行更大的投资，有时是诚实的，但有时是重复的。

但是，尽管有些事情肯定在变化，但当今警报者已经预先存在的LLM技术强调了许多威胁，而无需我们需要一贯地做我们已经知道要做的事情。例如，以下所有威胁行动，虽然也许可以通过LLMS增强，但已经在ML和其他形式的AI的支持下进行了^[14]（或实际上，根本没有AI）：

• 在线模仿
• 便宜，可信的网络钓鱼邮件和网站
• 声音伪造
• 翻译
• 预测密码破解
• 脆弱性发现
• 技术黑客

对手可能会更频繁地或更容易地执行此类活动的观念是引起人们关注的原因，但不一定需要对我们的安全实践和技术进行根本性的转变。

另一方面，LLMS作为攻击表面被大大低估。至关重要的是，我们要学习以前技术革命的教训（例如Web应用程序和API），以免通过鲁ck采用未经测试的且在开放网络空间和我们关键的内部资产之间的边界的未经测试且有些无法实现的技术来重复它们。建议企业非常谨慎和勤奋，以权衡将Genai作为界面部署的潜在好处，并且具有这种复杂，未经测试的技术肯定会引入的潜在风险。从本质上讲，我们至少面临着从云时代的曙光和随后的经典公司周边侵蚀中已经知道的相同的访问和数据安全问题。

尽管我们要观察到了开创性的创新，但安全“风险”仍然从根本上构成了威胁，脆弱性和影响力的产物，如果他们还没有，LLM将无法神奇地创建这些产品。如果这些要素已经存在，则企业必须应对的风险在很大程度上独立于AI的存在。

这只是我们对AI和LLM的研究的摘录。阅读完整的故事和更详细的咨询，以及有关迅速注射方式如何操纵LLM和在安全护栏外工作的专家故事，或者防守者如何使用AI来检测广泛网络中的妥协信号：这一切都是安全导航器中的2025年。下载页面并获取您的副本！

发现这篇文章很有趣？本文是我们一位尊贵合作伙伴之一的贡献。跟随我们叽叽喳喳 -和LinkedIn要阅读更多独家内容，我们发布的内容。