攻击模拟器揭示了人工智能图像识别工具中的漏洞以及缓解网络威胁的方法

2024-10-14 16:31:23 英文原文

作者:University of Texas at San Antonio

road sign
图片来源:Pixabay/CC0 公共领域

人工智能可以帮助人们精确处理和理解大量数据,但根据一项新的研究,现代图像识别平台和内置在AI中的计算机视觉模型经常忽略一个重要的后端功能——alpha通道,该通道控制着图像的透明度。

圣安东尼奥德克萨斯大学(UTSA)的研究人员开发了一种名为AlphaDog的专有攻击,以研究黑客如何利用这一疏漏。他们的研究成果由电气与计算机工程系助理教授Guenevere Chen及其前博士生Qi Xia '24撰写,并发表在了……2025年网络与分布式系统安全 symposium.

在论文中,UTSA研究人员描述了技术差距并提出了缓解此类网络安全威胁的建议。

“我们有两个目标。一个是人类受害者,另一个是AI。”陈解释道。

为了评估该漏洞,研究人员通过开发AlphaDog识别并利用了针对图像的alpha通道攻击。这种攻击模拟器使人类看到的图片与机器识别的结果不同。它的工作原理是操纵图像的透明度。

credits: 圣安东尼奥德萨克勒大学

研究人员生成了6,500张AlphaDog攻击图像,并在包括80个开源系统和20个基于云的AI平台(如ChatGPT)在内的100个AI模型上进行了测试。

他们发现AlphaDog在定位图像中的灰度区域方面表现出色,使攻击者能够破坏纯灰度图像和包含灰度区域的彩色图像的完整性。

研究人员在各种日常场景中测试了图像。

他们发现了人工智能中存在的一些漏洞,这些漏洞对安全构成重大风险。例如,使用AlphaDog,他们可以操纵路标中的灰度元素,这可能会误导自动驾驶车辆。

同样地,他们发现可以修改灰度图像,如X光片、MRI和CT扫描,这可能产生一个严重的威胁,在远程医疗和医学影像领域可能导致误诊。这也可能会危及并打开欺诈的大门,比如操纵通过将X光片上的正常腿修改为骨折的腿。

他们还找到了一种改变人脸图像的方法。通过针对alpha通道,UTSA的研究人员可以干扰面部识别系统。

credits: 圣安东尼奥德萨克勒大学

AlphaDog通过利用AI和人类处理图像透明度的差异来工作。计算机视觉模型通常处理包含红色、绿色、蓝色和alpha(RGBA)通道的图像,其中alpha值定义了颜色的不透明度。alpha通道表示每个像素的不透明程度,并允许将一幅图像与背景图像结合,生成具有透明效果的合成图像。

然而,使用AlphaDog,研究人员发现他们测试的AI模型并没有读取所有的四个RGBA通道;相反,它们只读取了RGB通道的数据。

"AI是由人类创造的,编写代码的人关注的是RGB但忽略了alpha通道。换句话说,他们为AI模型编写了不包含alpha通道的读取图像文件的代码,"陈说。“这就是漏洞所在。这些平台忽略alpha通道导致了数据中毒。”

她补充说:“人工智能很重要。它正在改变我们的世界,我们有很多担忧。”

陈和夏正在与包括谷歌、亚马逊和微软在内的几个关键利益相关者合作,以减轻AlphaDog破坏系统的能力所带来的漏洞。

引用攻击模拟器揭示了AI图像识别工具中的疏漏及针对网络威胁的缓解措施(2024年10月14日) 检索于2024年10月15日 从https://techxplore.com/news/2024-10-simulator-reveals-oversight-ai-image.html

本文件受版权保护。除个人研究或学习目的的合理使用外,未经书面许可不得复制任何部分内容。所提供的内容仅用于信息目的。

关于《攻击模拟器揭示了人工智能图像识别工具中的漏洞以及缓解网络威胁的方法》
暂无评论

摘要

credits: Pixabay/CC0 公共领域 人工智能可以帮助人们精确地处理和理解大量数据,但根据一项新的研究,现代的图像识别平台和构建在AI中的计算机视觉模型经常忽略一个重要的后端功能,即控制图像透明度的alpha通道。他们发现AlphaDog擅长针对图像内的灰度区域进行定位,使攻击者能够破坏纯灰度图像以及包含灰度区域的颜色图像的完整性。“换句话说,他们编写了代码让AI模型在没有alpha通道的情况下读取图像文件。”陈说。陈和夏正在与包括谷歌、亚马逊和微软在内的几个关键利益相关方合作,以减轻AlphaDog破坏系统的能力所带来的漏洞。除了为私人研究或学习目的进行合理使用外,未经书面许可不得以任何形式复制任何部分。