作者:Charles Rollet
生成式人工智能有大量有据可查的误用, 从撰写学术论文到临摹艺术家。现在,它似乎突然出现在国家影响力行动中。
最近的一项活动“很可能”得到了商业人工智能语音生成产品的帮助,其中包括由热启动据 ElevenLabs 称最近的报告来自马萨诸塞州的威胁情报公司 Recorded Future。
该报告描述了一项与俄罗斯有关的活动,旨在破坏欧洲对乌克兰的支持,该活动被称为“削弱行动”,该活动在虚假或误导性“新闻”视频中大量使用人工智能生成的画外音。
这些针对欧洲观众的视频攻击乌克兰政客腐败,或质疑对乌克兰军事援助的有用性等。例如,一段视频宣称“即使是干扰器也无法拯救美国艾布拉姆斯坦克”,指的是美国坦克用来偏转来袭导弹的装置,这强化了这样的观点:向乌克兰派遣高科技装甲部队是有风险的。无意义。
该报告指出,视频创作者“很可能”使用了语音生成的人工智能(包括 ElevenLabs 技术)来使他们的内容看起来更合法。为了验证这一点,Recorded Future 的研究人员将这些剪辑提交给了 ElevenLabs 自己的实验室人工智能语音分类器,它为任何人提供了“检测音频剪辑是否是使用 ElevenLabs 创建的”并获得匹配的能力。
ElevenLabs 没有回应置评请求。尽管 Recorded Future 指出可能使用几种商业人工智能语音生成工具,但没有透露除 ElevenLabs 之外的任何其他工具。
影响力活动的策划者无意中展示了人工智能语音生成的有用性,他们相当草率地发布了一些带有真实人类配音的视频,这些配音带有“明显的俄罗斯口音”。人工智能生成的画外音使用多种欧洲语言,如英语、法语、德语和波兰语,没有外国口音。
据 Recorded Future 报道,人工智能还允许以欧洲使用的多种语言快速发布误导性剪辑,如英语、德语、法语、波兰语和土耳其语(顺便说一句,所有语言支持由十一实验室提供。)
Recorded Future 将此次活动归咎于社会设计机构 (Social Design Agency),这是一家总部位于俄罗斯的组织,美国政府制裁的今年 3 月,该公司运营了“一个由 60 多个网站组成的网络,冒充欧洲的真实新闻机构,然后使用虚假的社交媒体帐户来放大欺骗网站的误导性内容。”所有这一切都是代表“俄罗斯联邦政府,”美国国务院当时表示。
Recorded Future 总结道,此次活动对欧洲公众舆论的总体影响微乎其微。
这并不是 ElevenLabs 的产品第一次因涉嫌滥用而被点名。该公司的技术是冒充总统乔·拜登的机器人电话的幕后黑手,该电话敦促选民在 1 月份的初选期间不要外出投票2024 年,一家语音欺诈检测公司得出结论,据彭博社报道。作为回应,ElevenLabs 表示,它发布了新的安全功能,例如自动屏蔽政客的声音。十一实验室
禁令“未经授权的、有害的或欺骗性的冒充”以及说它使用各种工具来强制执行此操作,例如自动和人工审核。 ElevenLabs 自 2022 年成立以来经历了爆炸式增长。
ARR 从 2500 万美元增加到 8000 万美元据 TechCrunch 此前报道,该公司的估值不到一年前,可能很快就会达到 30 亿美元。其投资者包括 Andreessen Horowitz 和 Github 前首席执行官 Nat Friedman。