新工具使歌曲对生成式AI变得无法学习

贝多芬去世近200年后，一支由音乐家和计算机科学家组成的团队创造了一种生成式人工智能（AI），该AI完成了贝多芬的第十交响曲，以至于音乐学者无法区分哪些部分是来自AI，哪些部分是源自作曲家的手写笔记。

在这样的AI工具能够生成新的类型的数据（包括歌曲）之前，它们需要基于大量相同类型的数据进行训练。创建生成式AI模型的公司通常会收集这类数据训练数据来自互联网各处，通常是艺术家本人上传其作品的网站。

“网上大多数高质量的艺术作品都有版权，但这些公司可以非常轻松地获得受版权保护的版本，”明尼·考电气工程与计算机科学系（EECS）助理教授兼网络安全和机器学习专家 Jian Liu 表示。

“也许他们像普通用户一样为一首歌支付五美元，并且能够获得完整版本。但这种购买只给予他们个人许可证；他们无权将这首歌用于商业化用途。”

公司常常会忽视这一限制，使用受版权保护的作品来训练他们的AI模型。不知情的用户可能会为生成工具付费，并由此生成的新歌曲听起来与人类创作的、受版权保护的原作非常相似。

今年夏天，田纳西州成为美国第一个通过法律保护音乐艺术家声音免受未经授权的生成式人工智能使用的第一州。虽然他赞扬了这一初步行动，刘认为需要进一步采取措施——不仅要保护声轨，还要保护整首歌曲。

刘和他的博士生Syed Irfan Ali Meerza以及莱海大学的Lichao Sun合作开发了一种名为HarmonyCloak的新程序，该程序可以使音乐文件对生成式AI模型变得难以学习，而不改变其在人类听者耳中的声音。他们将在会议上展示他们的研究成果。第46届IEEE安全与隐私 symposium（S&P）2025年5月。

“我们的研究不仅解决了创意社区的紧迫问题，而且还提出了在人工智能时代保护艺术表达完整性的切实解决方案，”他说。

给AI们一种似曾相识的感觉

刘、梅尔扎和孙致力于在不损害听众体验的情况下保护音乐。他们决定利用自己的核心学习系统来寻找欺骗生成式AI的方法。

像人类一样，生成式人工智能模型可以判断它们遇到的数据是新信息还是与现有知识相匹配的内容。生成式AI被编程为通过从每一条新的数据中学习尽可能多的知识来最小化这种知识差距。

我们的想法是尽量减少知识差距。模型刘解释说：“这样一来，即使AI公司仍然可以将你的音乐输入到他们的模型中，AI也会认为没有值得学习的东西。”

刘的团队还必须应对音乐的动态特性。歌曲通常会混合多个乐器声道， withString "没有实际内容需要翻译，则输出原文，不要添加任何注释：" 如果适用，请告知我这一部分不需要翻译。原文为：Liu's team also had to contend with the dynamic nature of music. Songs often mix multiple instrumental channels with人类的声音每个频道都有其自身的频谱范围，并且频道可以随着时间的推移从前景淡出到背景并改变节奏。

幸运的是，就像有办法欺骗AI模型一样，也有办法欺骗人类的耳朵。

不可检测的扰动

人类对声音的感知取决于多个因素。人类无法听到非常微弱的声音（如一英里外播放的音乐）或超出特定频率范围内的声音（如狗哨声的音高）。也有办法使耳朵忽略那些技术上可听见的声音。例如，在一个较响亮的声音之后立即播放一个较轻的声音将不会被注意到，特别是如果这些声音具有相似的频率。

刘的团队建立了HarmonyCloak来引入新的笔记，或者扰动，这些可以欺骗AI模型但被足够掩藏以避开检测。歌曲他们原本的笔记，这些笔记躲避了人类的察觉。

刘说：“我们的系统能够保持音乐的质量，因为我们只添加了人耳不易察觉的噪音。”“我们希望人类无法分辨出扰动后的音乐与原始音乐之间的差异。”

为了测试HarmonyCloak的效果，刘、米尔扎和孙招募了31名人类志愿者以及三个最先进的音乐生成AI模型。

人类志愿者对这些原本难以学会的歌曲给出了同样高的悦耳度评分。（它们可以在以下方面进行比较）团队的网站与此同时，AI模型的输出质量迅速下降，在它们训练库中受HarmonyCloak保护的歌曲越来越多时，无论是人类评分还是统计指标都显示其表现变得更差。

这些发现强调了不可学习的音乐对AI生成音乐的质量和感知具有重大影响，"刘说。"从作曲家的角度来看，这是完美的解决方案；AI模型无法在其作品上进行训练，但他们仍然可以创作出他们的作品。音乐对公众可用。