AI图像识别中存在的漏洞 - 神经科学新闻

2024-10-15 14:59:46 英文原文

作者:Neuroscience News

摘要:一项新的研究揭示了由于人工智能图像识别系统排除了控制图像透明度的alpha通道而存在的一种漏洞。研究人员开发了一种名为“AlphaDog”的攻击方法,该方法可以操纵图像的透明度,使黑客能够以AI无法检测到的方式扭曲诸如路标或医学扫描图像等视觉内容。

在对100种人工智能模型进行测试后,AlphaDog利用了这一透明度漏洞,给道路交通安全和医疗诊断带来了重大风险。通过突出图像透明处理中的这些盲点,该研究呼吁更新人工智能模型以保障关键领域的安全性。

研究人员正在与科技巨头合作解决这一问题并保护图像识别平台。这一差距突显了在人工智能开发中确保全面安全的重要性。

关键事实

  • AlphaDog 操纵图像透明度,误导道路安全和远程医疗等领域的人工智能模型。
  • 大多数AI系统省略了alpha通道,而这个通道对于准确的图像透明度至关重要。
  • 研究人员正在与科技公司合作,整合alpha通道处理和安全人工智能。

来源:德克萨斯大学圣安东尼奥分校

人工智能可以帮助人们精确处理和理解大量数据,但根据一项新的研究,现代图像识别平台和内置在人工智能中的计算机视觉模型经常忽略一个重要的后端功能,即控制图片透明度的阿尔法通道。

圣安东尼奥德克萨斯大学(UTSA)的研究人员开发了一种名为AlphaDog的专有攻击,以研究黑客如何利用这一漏洞进行攻击。

他们的研究结果发表在由美国德克萨斯大学圣安东尼奥分校电气与计算机工程系助理教授Guenevere Chen及其前博士生Qi Xia '24撰写的一篇论文中,并被网络和分布式系统安全 symposium 2025收录。

在论文中,UTSA研究人员描述了技术差距并提出了缓解此类网络威胁的建议。

“我们有两个目标。一个是人类受害者,另一个是AI。”陈解释道。

为了评估该漏洞,研究人员通过开发AlphaDog识别并利用了针对图像的alpha通道攻击。这种攻击模拟器导致人类看到的图片与机器解析的结果不同。它的工作原理是操纵图像的透明度。

研究人员生成了6,500张AlphaDog攻击图片,并在包括80个开源系统和20个基于云的AI平台(如ChatGPT)在内的100个AI模型上进行了测试。

他们发现AlphaDog在定位图像中的灰度区域方面表现出色,使攻击者能够破坏纯灰度图像以及包含灰度区域的彩色图像的完整性。

研究人员在各种日常场景中测试了图像。

他们发现了人工智能中存在的漏洞,这些漏洞对道路安全构成了重大风险。例如,使用AlphaDog,他们可以操纵路标中的灰度元素,这可能会误导自动驾驶汽车。

同样,他们发现可以篡改灰度图像,如X光片、MRI和CT扫描,这可能造成严重威胁,在远程医疗和医学影像领域可能导致误诊。

这也会危及患者的安全,并为欺诈行为打开大门,例如通过篡改X光结果将正常的腿部显示为骨折来操纵保险索赔。

他们也找到了改变人物图像的方法。通过针对alpha通道,UTSA的研究人员可以干扰面部识别系统。

AlphaDog通过利用AI和人类处理图像透明度差异来工作。计算机视觉模型通常处理包含红色、绿色、蓝色和alpha(RGBA)通道的图像,其中alpha值定义颜色的不透明度。

Alpha通道表示每个像素的不透明度,并允许图像与背景图像结合,生成具有透明效果的合成图像。

然而,使用AlphaDog,研究人员发现他们测试的AI模型并没有读取所有的四个RGBA通道;相反,它们只读取了RGB通道的数据。

“AI是由人类创造的,编写代码的人关注的是RGB但忽略了alpha通道。换句话说,他们为AI模型编写的代码无法读取包含alpha通道的图像文件,”陈说。“这就是漏洞所在。这些平台忽略alpha通道导致了数据中毒。”

她补充说:“人工智能很重要。它正在改变我们的世界,我们有很多担忧。”

陈和夏正在与包括谷歌、亚马逊和微软在内的几个关键利益相关者合作,以减轻AlphaDog系统侵入能力带来的漏洞。

关于这项人工智能研究新闻

作者: 安德烈·阿里·卡斯塔涅达
来源:德克萨斯大学圣安东尼奥分校
联系人:安德烈亚·阿里·卡斯泰达 - 圣安东尼奥大学
图像:图片来自 Neuroscience News

关于《AI图像识别中存在的漏洞 - 神经科学新闻》
暂无评论

摘要

摘要:一项新研究揭示了人工智能图像识别系统存在漏洞,原因是这些系统忽略了控制图像透明度的alpha通道。研究人员正与科技公司合作,整合alpha通道处理并确保AI的安全性。 来源:圣安东尼奥大学 人工智能可以帮助人们精确地处理和理解大量数据,但根据一项新的研究,现代图像识别平台和嵌入到AI中的计算机视觉模型经常忽略一个重要的后台特性——称为alpha通道的特性,它控制着图像的透明度。这可能会危及患者安全,并为欺诈行为打开大门,例如通过篡改X光片结果来将正常的腿部显示为骨折,从而操纵保险索赔。圣安东尼奥大学的研究人员通过针对alpha通道可以干扰面部识别系统。这正在改变我们的世界,我们有很多担忧。