人工智能实验室针对剥削性人工智能发动游击战

本·赵清楚地记得他正式加入艺术家和生成人工智能之间的斗争的那一刻：当时一位艺术家要求人工智能香蕉。 

赵是芝加哥大学的计算机安全研究员，因开发保护图像免受面部识别技术影响的工具而出名。正是这部作品引起了奇幻插画家 Kim Van Deun 的注意，并邀请他参加 2022 年 11 月主办的 Zoom 电话会议。概念艺术协会，一个针对商业媒体艺术家的倡导组织。 

在电话会议上，艺术家们详细讲述了他们如何受到当时全新的生成式人工智能热潮的伤害。那一刻，人工智能突然无处不在。科技界对图像生成人工智能模型议论纷纷，例如 Midjourney、Stable Diffusion 和 OpenAI 的 DALL-E 2，这些模型可以按照简单的文字提示来描绘幻想世界或由牛油果制成的异想天开的椅子。 

但这些艺术家将这一技术奇迹视为一种新的盗窃行为。他们认为这些模型实际上窃取并取代了他们的工作成果。一些人发现他们的作品被从互联网上刮下来并用于训练模型，而另一些人则发现他们自己的名字已成为提示，导致他们的作品在网上被人工智能仿冒品淹没。

赵记得自己听到的话感到震惊。“人们实际上是在告诉你，他们正在失去生计，”今年春天的一个下午，他坐在芝加哥的客厅里告诉我。“这是您无法忽视的事情。” 

因此，他在 Zoom 上提出了一个建议：假设可以建立一种机制来帮助掩盖他们的艺术以干扰 AI 抓取，结果会怎样呢？

“我希望有一个工具，如果有人写下我的名字并发出提示，比如垃圾出来了，”著名数字艺术家卡拉·奥尔蒂斯 (Karla Ortiz) 回答道。“只是，比如香蕉或一些奇怪的东西。” 

这就是赵加入这一事业的那一刻所需要的说服力。

快进到今天，数以百万计的艺术家已经部署了由 Zoom 诞生的两种工具：Glaze 和 Nightshade，它们是由赵和芝加哥大学的 SAND 实验室（安全、算法、网络的缩写）开发的。和数据-)。

可以说，Glaze 和 Nightshade 是艺术家对抗非共识 AI 抓取的最重要武器，它们的工作原理类似：通过向图像像素添加研究人员所说的“几乎不可察觉”的扰动，以便机器学习模型无法正确读取它们。自 2023 年 3 月推出以来，Glaze 的下载量已超过 600 万次，它实际上为图像添加了一层秘密斗篷，防止人工智能算法识别和复制艺术家的风格。茄属植物我在几乎一年前的秋天发布时写过它，它通过在图像中添加一层看不见的毒药来加大对人工智能公司的攻势，这可能会破坏人工智能模型；它的下载次数已超过 160 万次。 

多亏了这些工具，“我能够在网上发布我的作品，”奥尔蒂斯说，“这非常重要。”对于像她这样的艺术家来说，在网上被看到对于得到更多的工作。如果他们对在没有补偿的情况下进入大规模的营利性人工智能模型感到不安，唯一的选择就是从互联网上删除他们的作品。这将意味着职业自杀。“这对我们来说真的很可怕，”奥尔蒂斯补充道，他已经成为艺术家同行中最直言不讳的倡导者之一，并且参与了针对包括 Stability AI 在内的人工智能公司侵犯版权的集体诉讼。一个 

但赵希望这些工具不仅仅能赋予个体艺术家权力。在他看来，Glaze 和 Nightshade 是一场战斗的一部分，这场战斗旨在慢慢地将权力平衡从大公司倾斜回个人创作者手中。 

“看到人的生命如此不受重视，真是令人难以置信的沮丧，”他轻蔑地说，我认为这对他来说非常典型，尤其是当他谈论大型科技公司时。——而且看到这种将利润置于人性之上的现象一遍又一遍地重复……真是令人难以置信的沮丧和疯狂。—— 

随着这些工具被更广泛地采用，他的崇高目标正在经受考验。Glaze 和 Nightshade 能否为创作者提供真正的安全保障，或者它们是否会无意中让艺术家相信他们的作品是安全的，即使这些工具本身成为仇恨者和黑客的目标？虽然专家们普遍认为这种方法是有效的，并且茄属植物可能被证明是一种强力毒药，但其他研究人员声称他们已经在 Glaze 提供的保护中发现了漏洞，并且相信这些工具是有风险的。 

但是尼尔·特克维茨（Neil Turkewitz），一位曾经在 美国唱片工业协会对 SAND 实验室加入的斗争提供了更全面的看法。他说，这不是关于单个人工智能公司或单个个人的问题：“而是关于定义我们想要居住的世界的规则。” 

戳熊

SAND 实验室组织严密，十多名研究人员挤在芝加哥大学计算机科学大楼的一角。这个空间积累了一些典型的工作场所碎片——这里有一个 Meta Quest 耳机，那里有万圣节派对上的愚蠢装扮照片。但墙壁上也挂满了原创艺术作品，包括奥尔蒂斯的一幅镶框画作。 

早在与奥尔蒂斯这样的艺术家一起对抗“人工智能兄弟”（用赵的话说）的几年前，赵和实验室的联合领导者希瑟·郑（也是他的妻子）就创造了一项记录对抗新技术带来的危害。 

由 Sand 实验室提供

尽管两人都获得了名额麻省理工科技评论– 近二十年前，当他们还在加州大学圣塔芭芭拉分校时，被列入 35 岁以下 35 岁以下创新者名单中的其他工作（郑于 2005 年为 –认知无线电— 一年后，赵对等网络），他们的主要研究重点已成为安全和隐私。 

两人于 2017 年离开圣巴巴拉，后被芝加哥大学数据科学研究所新任联席主任迈克尔·富兰克林挖走。来自加州大学圣巴巴拉分校实验室的所有八名博士生也决定跟随他们前往芝加哥。从那时起，该小组开发了一种沉默的手镯— 会堵塞 Amazon Echo 等人工智能语音助手的麦克风。它还创建了一个名为 Fawkes 的工具——隐私装甲，正如赵在 2020 年的一份报告中所说的那样面试与纽约时报– 人们可以将其应用到他们的照片上以保护它们免受面部识别软件的侵害。他们还研究了黑客如何通过以下方式窃取敏感信息：对虚拟现实耳机的隐形攻击， 和如何区分来自人工智能生成图像的人类艺术。 

“Ben 和 Heather 以及他们的团队是独一无二的，因为他们实际上正在尝试构建能够解决有关人工智能及其使用方式的一些关键问题的技术，”富兰克林告诉我。“他们不仅通过提出这些问题来做到这一点，而且还通过实际构建技术将这些问题推到了最前沿。”

两年前，正是福克斯引起了奇幻插画家范登恩的兴趣。她希望类似的东西能够起到抵御生成人工智能的作用，这就是为什么她向概念艺术协会的 Zoom 电话会议发出了这一重大邀请。 

这个电话在接下来的几周里引发了一阵疯狂的热潮。尽管赵和郑在实验室的所有项目上都有合作，但他们各自领导着各自的计划。赵与博士生一起承担了后来的 Glaze肖恩·山（位列今年 35 岁以下创新者名单）领导该项目算法的开发。 

在 Shan 编码的同时，博士生 Jenna Cryan 和 Emily Wenger 试图更多地了解艺术家本身的观点和需求。他们创建了一个用户调查该团队在奥尔蒂斯的帮助下分发给艺术家。在 1,200 多名艺术家的回复中（远远超过计算机科学领域用户研究的平均回复数量），团队发现绝大多数创作者都读过关于艺术被用来训练模型的内容，97% 的人预计人工智能能够降低了一些艺术家的工作保障。四分之一的人表示人工智能艺术已经影响了他们的工作。 

几乎所有艺术家都表示，他们在网上发布了自己的作品，超过一半的艺术家表示，如果他们还没有这样做的话，他们预计会减少或删除在线作品，无论专业和财务后果如何。

Glaze 的第一个杂乱版本在短短一个月内就开发出来了，此时 Ortiz 向团队提供了整个工作目录来测试模型。在最基本的层面上，Glaze 充当防御盾牌。它的算法识别图像中构成艺术家个人风格的特征，并为其添加微妙的变化。当 AI 模型在受 Glaze 保护的图像上进行训练时，该模型将无法再现与原始图像类似的样式。 

一幅画来自奥尔蒂斯的照片后来成为第一张公开发布的带有釉料的图像：一位年轻女子，周围环绕着飞翔的老鹰，手举花环。它的标题是胜利芭蕉，“胜利的缪斯。” 

这就是目前挂在 SAND 实验室墙壁上的那一件。 

赵说，尽管许多艺术家最初热情高涨，但 Glaze 的推出引起了强烈的反对。一些艺术家对此表示怀疑，因为他们担心这是一个骗局或另一个数据收集活动。 

该实验室必须采取几个步骤来建立信任，例如提供下载 Glaze 应用程序的选项，以便它离线添加保护层，这意味着任何数据都不会被传输到任何地方。（当艺术家上传图像时，这些图像将被屏蔽。） 

Glaze 推出后不久，Shan 还领导了第二个工具 Nightshade 的开发。Glaze 是一种防御机制，而 Nightshade 则被设计为充当防御机制进攻对非自愿培训的威慑。它的工作原理是，以人眼无法察觉的方式改变图像的像素，但会操纵机器学习模型，以便它们将图像解释为与实际显示的不同的东西。如果有毒的样本被纳入人工智能训练集中，这些样本就会欺骗人工智能模型：狗变成猫，手袋变成烤面包机。研究人员表示，只需相对较少的例子就足以永久损害生成式人工智能模型生成图像的方式。

目前，这两种工具都可以作为免费应用程序使用，也可以通过该项目应用网站。该实验室最近还通过提供与艺术家支持的新社交网络 Cara 的集成来扩大其影响范围，该网络诞生于对剥削性人工智能培训的强烈反对，并禁止人工智能制作的内容。

在与赵和实验室研究人员以及少数艺术家合作者的数十次对话中，很明显，两个团体现在都觉得他们在同一个使命上是一致的。“我从没想过会与芝加哥的科学家成为朋友，”与茄属植物团队密切合作的荷兰艺术家伊娃·托伦特 (Eva Toorenent) 说道。“我很高兴在这场集体战斗中遇到这些人。” 

伊娃·图伦特

她的画颠茄，也是茄属植物的另一个名字，是第一张带有茄属植物毒液的图像。 

“这非常具有象征意义，”她说。– 人们未经我们同意就盗取我们的作品，然后未经我们同意盗用我们的作品可能会毁掉他们的模型。这只是诗意的正义。” 

没有完美的解决方案

AI 社区对 SAND 实验室工作的接受度不太和谐。

赵告诉我，Glaze 向公众开放后，有人向 VirusTotal 等跟踪恶意软件的网站报告了该软件，以便防病毒程序对其进行标记。一些人也开始在社交媒体上声称该工具很快就被破解了。茄属植物在推出时同样受到了相当多的批评。作为TechCrunch 报道一月份，一些人称其为“病毒”，正如故事所解释的那样，“另一位 Reddit 用户不经意间在X上疯传质疑 Nightshade 的合法性，将其与“入侵易受攻击的计算机系统以破坏其运行”进行比较。 

“我们不知道我们面临的是什么，”赵告诉我。“不知道对方是谁或是什么，意味着电话的每一次新的嗡嗡声都意味着也许有人确实破坏了 Glaze。” 

不过，这两种工具都经过了严格的学术同行评审，并赢得了计算机安全社区的认可。Nightshade 在 IEEE 安全和隐私研讨会上被接受，Glaze 在该领域的顶级会议 Usenix 安全研讨会上获得了杰出论文奖和 2023 年互联网防御奖。 

“根据我处理毒药的经验，我认为 [Nightshade] 非常有效，”IBM 人工智能安全和隐私解决方案团队负责人 Nathalie Baracaldo 说道，她研究了数据中毒。“我还没有看到任何东西”这个词然而在这里很重要——这打破了 Ben 提出的那种防御方式。——事实上，该团队已经发布了源代码她补充说，茄属植物可供其他人探测，而且它还没有被破坏，这也表明它相当安全。 与此同时，至少有一组研究人员确实声称已经突破了 Glaze 的保护，或者至少是它的旧版本。 

正如来自 Google DeepMind 和 ETH Zurich 的研究人员在

六月份发表的一篇论文，他们找到了各种方法 Glaze（以及类似但不太流行的保护工具，例如薄雾和反梦亭）可以使用任何人都可以使用的现成技术来规避，例如图像升级，即填充像素以提高图像放大时的分辨率。研究人员写道，他们的工作显示了“现有保护措施的脆弱性”，并警告说，“艺术家可能认为它们是有效的”。但我们的实验表明他们不是. –

参与这项研究的苏黎世联邦理工学院副教授弗洛里安·特拉马尔 (Florian Tramür) 承认，“很难想出一个强大的技术解决方案，最终真正发挥作用。”作为个人工具，他最终提倡一个几乎肯定不切实际的理想：更强有力的政策和法律来帮助创造一个人们承诺只购买人类创作的艺术品的环境。 

巴拉卡尔多指出，这里发生的情况在安全研究中很常见：提出防御，对手打破防御，并且（理想情况下）防御者向对手学习并使防御变得更好。“重要的是让有道德的攻击者和防御者共同努力，让我们的人工智能系统更安全，”她说，并补充说，“理想情况下，所有防御措施都应该公开接受审查，”既“允许透明度”，又有助于避免产生错误的安全感。（不过，赵告诉我研究人员无意发布 Glaze 的源代码。）

尽管如此，尽管所有这些研究人员都声称支持艺术家及其艺术，但此类测试还是触动了赵的神经。在后来泄露的 Discord 聊天记录中，他声称苏黎世联邦理工学院 Google DeepMind 团队的一名研究人员“根本不在乎”人。（该研究人员没有回应置评请求，但在博客文章他说，重要的是要打破防御，才能知道如何修复它们。赵说他的话被断章取义。） 

赵还向我强调，这篇论文的作者主要评估的是 Glaze 的早期版本；他说，新的更新更能抵抗篡改。他说，弄乱具有当前 Glaze 保护的图像会损害正在复制的风格，从而使此类攻击变得毫无用处。 

这种反复反映了计算机安全界的严重紧张关系，更广泛地说，反映了人工智能领域不同群体之间经常存在的敌对关系。当你提供的保护可能会被打破时，给人们带来安全感是错误的吗？还是最好有一些保护级别（提高攻击者造成伤害的门槛）还是完全没有保护？ 

伦敦帝国学院应用数学和计算机科学副教授 Yves-Alexandre de Montjoye 表示，类似的技术保护措施未能万无一失的例子有很多。例如，2023 年，德蒙乔耶和他的团队探索了一个用于面部识别算法的数字掩模，旨在保护医疗患者面部图像的隐私；他们只需调整程序算法（开源）中的一件事就可以打破保护。 

他说，使用这种防御措施仍然是在传递信息，并给数据分析增加一些摩擦。“TrackMeNot 等工具可以保护用户免受数据分析”，这已被视为一种抗议方式；作为一种说法我不同意…… 

“但与此同时，”他认为，“我们需要向艺术家明确表示，它是可移动的，并且可能无法防范未来的算法。”

虽然赵承认研究人员指出了 Glaze 的一些弱点，但毫不奇怪的是，他仍然相信 Glaze 和 Nightshade 值得部署，因为“安全工具从来都不是完美的”。事实上，正如 Baracaldo 指出的那样，谷歌 DeepMind 和苏黎世联邦理工学院的研究人员展示了一个高度积极和老练的对手几乎肯定会找到入侵的方法。

然而，“如果你在野外遇到真正的安全问题并且你正在尝试设计一个保护工具，那么答案应该是它要么完美运行，要么不部署它，这种想法是过于简单化了，”赵以垃圾邮件过滤器和防火墙为例说道。防守是一场持续不断的猫鼠游戏。他相信大多数艺术家都足够精明，能够理解其中的风险。 

提供希望

创作者和人工智能公司之间的斗争非常激烈。当前人工智能的范式是构建越来越大的模型，而且至少目前无法回避这样一个事实：它们需要从互联网上获取大量数据集来进行训练。科技公司认为公共互联网上的任何东西都是公平的游戏，并且它是 –不可能——构建先进的人工智能工具没有受版权保护的材料；许多艺术家认为科技公司窃取了他们的知识产权 并违反了版权法， 他们需要找到方法让自己的个人作品远离模型，或者至少获得适当的认可和使用补偿。 

到目前为止，创意还没有完全获胜。多家公司已经替换了使用人工智能系统的设计师、文案撰稿人和插画家。在一个备受瞩目的案例中，漫威影业使用人工智能生成的图像2023 年电视剧片头中不再出现人类创造的艺术秘密入侵。在另一个地方，广播电台解雇了真人主持人并用人工智能取代了它们。该技术已成为工会与电影、电视和创意工作室之间争论的主要焦点，最近还导致了工会和电影、电视和创意工作室之间的罢工电子游戏表演者。艺术家、作家、出版商和唱片公司正在对人工智能公司提起大量诉讼。可能需要数年时间才能达成明确的法律解决方案。但即使是法院的裁决也不一定能解决生成人工智能带来的棘手的道德问题。 未来的任何政府监管措施（即使真的实现）也不太可能实现。 

这就是为什么赵和郑将《Glaze》和《Nightshade》视为必要的干预措施——捍卫原创作品的工具，攻击那些愿意帮助自己的人，并且至少为艺术家赢得了一些时间。拥有完美的解决方案并不是真正的重点。研究人员需要提供某物郑说，现在人工智能行业正以极快的速度发展，这意味着公司忽视了对人类的非常现实的伤害。“这可能是我们整个技术职业生涯中第一次真正看到如此多的冲突，”她补充道。

她和赵告诉我，他们希望 Glaze 和 Nightshade 最终能够在更大的范围内彻底改变人工智能公司使用艺术的方式以及他们的产品生产艺术的方式。训练人工智能模型的成本极其高昂，工程师在数十亿张图像的数据集中查找并清除有毒样本也极其费力。从理论上讲，如果互联网上有足够多的 Nightshaded 图像，并且科技公司看到他们的模型因此而被破坏，它可能会将开发商推到谈判桌上，就许可和公平补偿进行讨价还价。 

当然，这仍然是一个很大的“如果”。麻省理工科技评论我们联系了 Midjourney 和 Stability AI 等几家人工智能公司，但这些公司没有回复置评请求。与此同时，OpenAI 的一位发言人没有证实有关遭遇数据中毒的任何细节，但表示该公司认真对待其产品的安全性，并不断改进其安全措施：“我们一直致力于如何使我们的系统更加安全”。强烈反对这种类型的滥用行为。

与此同时，SAND 实验室正在向前推进，寻求基金会和非营利组织的资助，以维持该项目的顺利进行。他们还表示，希望保护其知识产权的大公司也表现出了兴趣（尽管他们拒绝透露是哪家公司），赵和郑正在探索如何将这些工具应用于其他行业，例如游戏、视频或音乐。与此同时，他们计划与芝加哥实验室的学生密切合作，不断更新 Glaze 和 Nightshade，使其尽可能强大（那里的另一面墙上挂着 Toorenent）颠茄。这幅画的右下角贴着一张心形的便条： – 谢谢！您给了我们艺术家希望。”

这个故事已根据 Glaze 和 Nightshade 的最新下载数据进行了更新。