加入我们的每日和每周时事通讯，了解有关行业领先人工智能报道的最新更新和独家内容。了解更多
针对机器学习 (ML) 模型的对抗性攻击的强度、频率和复杂程度都在不断增加，越来越多的企业承认他们经历过与人工智能相关的安全事件。
人工智能的普遍采用正在导致威胁面迅速扩大，所有企业都在努力应对。Gartner 最近的一项关于人工智能采用情况的调查显示，73% 的企业部署了数百或数千个人工智能模型。
HiddenLayers 早期研究发现，77% 的公司发现了与人工智能相关的违规行为，其余公司则发现了与人工智能相关的违规行为。不确定他们的人工智能模型是否受到攻击。五分之二的组织发生了人工智能隐私泄露或安全事件，其中四分之一是恶意攻击。
随着人工智能在各行业的影响力不断增强，恶意攻击者随着威胁面的种类和数量的扩大，继续提高他们的技术来利用机器学习模型的漏洞基础不断增加。
针对机器学习模型的对抗性攻击试图通过故意尝试使用损坏的输入重定向模型来利用漏洞数据、越狱提示以及将恶意命令隐藏在加载回模型进行分析的图像中。攻击者微调对抗性攻击，使模型提供错误的预测和分类，从而产生错误的输出。
VentureBeat 撰稿人 Ben Dickson 解释了对抗性攻击的工作原理、其采取的多种形式以及该领域的研究历史
Gartner 还发现，41% 的组织报告经历过某种形式的人工智能安全事件，包括针对机器学习模型的对抗性攻击。在这些报告的事件中，60% 是内部人员造成的数据泄露，而 27% 是对组织人工智能基础设施的恶意攻击。30% 的人工智能网络攻击将利用训练数据中毒、人工智能模型盗窃或对抗性样本来攻击人工智能驱动的系统。
破坏整个网络具有对抗性机器学习攻击的网络是各国押注于破坏对手基础设施的隐形攻击策略，这将对整个供应链产生连锁效应。美国情报界 2024 年年度威胁评估让我们清醒地认识到保护网络免受对抗性 ML 模型攻击的重要性，以及为什么企业需要考虑更好地保护其专用网络免受对抗性 ML 攻击。
最近的一项研究强调了网络环境日益复杂，需要更复杂的机器学习技术，从而为攻击者创造了新的漏洞。研究人员发现，网络安全中机器学习的对抗性攻击威胁已达到流行程度。
连接设备数量的迅速增加和数据的激增使企业陷入了与恶意攻击者的军备竞赛，其中许多攻击者受到资助民族国家为了政治和经济利益而寻求控制全球网络。这不再是一个组织是否会面临对抗性攻击的问题，而是何时会面临的问题。对抗对抗性攻击的战斗仍在继续，但组织可以通过正确的策略和工具赢得上风。
思科、Cradlepoint（爱立信子公司）、DarkTrace、Fortinet、Palo Alto Networks 和其他领先公司网络安全供应商在人工智能和机器学习方面拥有深厚的专业知识，可以检测网络威胁并保护网络基础设施。每个人都在采取独特的方法来解决这一挑战。VentureBeats 对思科和 Cradlepoints 最新发展的分析表明了供应商解决此问题以及其他网络和模型安全威胁的速度。思科最近收购了 Robust Intelligence，这凸显了保护 ML 模型对于网络巨头的重要性。
对抗性攻击利用数据完整性和 ML 模型鲁棒性方面的弱点。根据 NIST 的人工智能风险管理框架，这些攻击会引入漏洞，使系统面临对抗性利用。
对抗性攻击有多种类型：
数据中毒：攻击者将恶意数据引入到系统中。用于降低性能或控制预测的模型训练集。根据 Gartner 2023 年的一份报告，近 30% 的人工智能组织，尤其是金融和医疗保健领域的组织，都经历过此类攻击。后门攻击在训练数据中嵌入特定的触发器，当这些触发器出现在现实世界的输入中时，导致模型行为不正确。麻省理工学院 2023 年的一项研究强调，随着人工智能采用的增长，此类攻击的风险越来越大，这使得对抗性训练等防御策略变得越来越重要。
逃避攻击：这些攻击会改变输入数据以进行错误预测。轻微的图像扭曲可能会将模型混淆为错误分类的对象。快速梯度符号法 (FGSM) 是一种流行的规避方法，它使用对抗性噪声来欺骗模型。自动驾驶汽车行业的规避攻击引起了安全担忧，改变的停车标志被误解为让行标志。2019 年的一项研究发现，停车标志上的小贴纸会误导自动驾驶汽车，让其误以为这是限速标志。腾讯科恩安全实验室使用路贴欺骗特斯拉 Model Ss 自动驾驶系统。这些贴纸将汽车驶入错误的车道，表明精心设计的微小输入更改可能是多么危险。对自动驾驶汽车等关键系统的对抗性攻击是现实世界的威胁。
模型反转：允许对手从模型输出中推断敏感数据，在接受健康或财务记录等机密数据训练时会带来重大风险。黑客查询模型并使用响应对训练数据进行逆向工程。Gartner 警告称，2023 年，滥用模型反转可能会导致严重的隐私侵犯，尤其是在医疗保健和金融领域，对手可以从人工智能系统中提取患者或客户信息。
模型窃取：重复的 API 查询用于复制模型功能。这些查询帮助攻击者创建一个行为类似于原始模型的代理模型。AI Security 表示，AI 模型通常通过 API 查询来对其功能进行逆向工程，这给专有系统带来了重大风险，特别是在金融、医疗保健和自动驾驶汽车等领域。随着人工智能的使用越来越多，这些攻击也在增加，引发了人们对人工智能模型中的知识产权和商业秘密的担忧。
保护机器学习模型免受对抗性攻击需要了解人工智能系统的漏洞。重点关注领域需要包括：
数据中毒和偏见攻击：攻击者通过注入偏见或恶意数据、损害模型完整性来瞄准人工智能系统。医疗保健、金融、制造和自动驾驶汽车行业最近都经历了这些攻击。2024 年 NIST 报告警告说，薄弱的数据治理会放大这些风险。Gartner 指出，对抗性训练和强大的数据控制可以将 AI 的恢复能力提高高达 30%。实施安全的数据管道和持续验证对于保护关键模型至关重要。
模型完整性和对抗性训练：无需对抗性训练即可操纵机器学习模型。对抗性训练使用不利的例子并显着增强模型的防御能力。研究人员表示，对抗性训练提高了鲁棒性，但需要更长的训练时间，并且可能会牺牲准确性来换取弹性。尽管存在缺陷，但它是抵御对抗性攻击的重要防御手段。研究人员还发现，混合云环境中不良的机器身份管理会增加机器学习模型遭受对抗性攻击的风险。
API 漏洞：模型窃取和其他对抗性攻击对于公共 API 非常有效，并且至关重要用于获取AI模型输出。正如 BlackHat 2022 中提到的那样，许多企业很容易受到利用，因为它们缺乏强大的 API 安全性。包括 Checkmarx 和 Traceable AI 在内的供应商正在自动化 API 发现并终止恶意机器人，以减轻这些风险。必须加强 API 安全性，以保持人工智能模型的完整性并保护敏感数据。
实施以下最佳实践可以显着降低对抗性带来的风险攻击：
强大的数据管理和模型管理：NIST 建议严格的数据清理和过滤，以防止机器学习模型中的数据中毒。避免恶意数据集成需要对第三方数据源进行定期治理审查。还必须通过跟踪模型版本、监控生产性能和实施自动化、安全的更新来保护 ML 模型的安全。BlackHat 2022 研究人员强调需要持续监控和更新，通过保护机器学习模型来保护软件供应链。组织可以通过强大的数据和模型管理来提高人工智能系统的安全性和可靠性。
对抗性训练：通过使用快速梯度符号方法 (FGSM) 创建的对抗性示例来增强机器学习模型。FGSM通过少量调整输入数据来增加模型误差，帮助模型识别和抵御攻击。研究人员表示，这种方法可以将模型弹性提高 30%。研究人员写道，对抗性训练是提高模型抵御复杂威胁的鲁棒性的最有效方法之一。
同态加密和安全访问：在保护机器学习中的数据时，特别是在医疗保健和金融等敏感领域，同态加密和安全访问加密通过在不暴露的情况下对加密数据进行计算来提供强大的保护。安永表示，同态加密对于需要高度隐私的行业来说是一个游戏规则改变者，因为它可以在不损害机密性的情况下实现安全的数据处理。将此与远程浏览器隔离相结合，进一步减少攻击面，确保通过安全访问协议保护托管和非托管设备。
API 安全性：必须保护面向公众的 API，以防止模型窃取并保护敏感数据。BlackHat 2022 指出，网络犯罪分子越来越多地利用 API 漏洞来破坏企业技术堆栈和软件供应链。网络流量异常分析等人工智能驱动的洞察有助于实时检测漏洞并加强防御。API 安全性可以减少组织的攻击面并保护 AI 模型免受对手的攻击。</p>
定期模型审核：定期审核对于检测机器学习模型中的漏洞和解决数据漂移至关重要。定期测试对抗性示例可确保模型针对不断变化的威胁保持稳健。研究人员指出，审计可以提高动态环境中的安全性和弹性。Gartner 最近关于保护人工智能安全的报告强调，一致的治理审查和监控数据管道对于维护模型完整性和防止对抗性操纵至关重要。这些实践可保障长期安全性和适应性。
事实证明，多种技术和技巧可有效防御针对机器学习模型的对抗性攻击：
差分隐私：该技术通过在模型输出中引入噪声来保护敏感数据，而不会明显降低准确性。这一策略对于医疗保健等重视隐私的行业尤其重要。差异隐私是 Microsoft 和 IBM 等公司用来保护其 AI 系统中的敏感数据的一项技术。
人工智能支持的安全访问服务边缘 (SASE)：随着企业日益整合网络和安全性，SASE 解决方案正在获得广泛采用。该领域的主要竞争厂商包括思科、爱立信、Fortinet、Palo Alto Networks、VMware 和 Zscaler。这些公司提供一系列功能来满足分布式和混合环境中安全访问日益增长的需求。Gartner 预测，到 2025 年，80% 的组织将采用 SASE，这一市场必将迅速扩张。
爱立信通过集成 5G 优化的 SD-WAN 和零信任安全性（通过收购 Ericom 得到增强）而脱颖而出。这种组合使爱立信能够提供专为混合劳动力和物联网部署量身定制的基于云的 SASE 解决方案。事实证明，其爱立信 NetCloud SASE 平台在为网络边缘提供人工智能驱动的分析和实时威胁检测方面具有价值。他们的平台集成了零信任网络访问 (ZTNA)、基于身份的访问控制和加密流量检查。爱立信的蜂窝智能和遥测数据训练人工智能模型，旨在改善故障排除帮助。他们的 AIOps 可以自动检测延迟，将其隔离到蜂窝接口，确定蜂窝信号问题的根本原因，然后建议补救措施。
使用同态加密的联邦学习：联邦学习允许分散式机器学习训练，而无需进行任何操作。共享原始数据，保护隐私。通过同态加密计算加密数据，保证整个过程的安全性。谷歌、IBM、微软和英特尔正在开发这些技术，特别是在医疗保健和金融领域。谷歌和 IBM 使用这些方法在协作 AI 模型训练期间保护数据，而英特尔则使用硬件加速加密来保护联合学习环境。数据隐私受到这些安全、去中心化人工智能创新的保护。
鉴于对抗性攻击的潜在严重性，包括数据中毒、模型反转和规避，医疗保健和金融业尤其容易受到攻击，因为这些行业是攻击者最喜欢的目标。通过采用对抗性训练、强大的数据管理和安全 API 实践等技术，组织可以显着降低对抗性攻击带来的风险。由人工智能驱动的 SASE，采用蜂窝优先优化和人工智能驱动的智能构建，已被证明可以有效防御网络攻击。