AI检测工具有效吗？

注册今天的媒体，CJR的每日新闻通讯。

2023年，一位名叫Pablo Xavier的三十一名建筑工人，他的姓氏尚未公开，意外地做了开创性的事情。他打开了Midjourney，这是一个生成的AI平台，可从文本提示中产生图像，并为其提供了对弗朗西斯教皇穿着蓬松外套的精确描述。然后，根据接受采访BuzzFeed新闻，帕勃罗·泽维尔（Pablo Xavier）拍摄了Midjourney制作的照片，并将其上传到了互联网，并在那里传播了它。这不仅是因为它的荒谬和无礼，而且还因为它令人信服的形象是多么疯狂，这是因为它使教皇外套上的光泽呈现出光泽的忠诚度到了他的眼镜在他的脸颊上铸造的微妙反射。这远远超出了全世界从AI爱好者所看到的一切。 

当时，Emmanuelle Saliba已经进入新闻事业大约十年了，使用了新兴的开源调查技术或Osint，以帮助新闻编辑室确认目击者照片的真实性，主要来自社交媒体。这通常涉及确定是否使用Photoshop操纵图像还是以误导性的方式重新使用图像。她说：“我恰好非常擅长在互联网上找到东西。”萨利巴（Saliba）帮助制定了NBC的验证协议，并且，当poffer夹克的教皇开始进行巡回演出时，她已经加入了ABC，以涵盖AI生成的媒体迅速发展的世界，希望帮助公众在虚假信息中保持领先地位。她发现自己对合成媒体的扩散感到惊讶，并因其定位而感到恐惧。 

现在需要重新审查整个验证过程，现为三十五的萨利巴说。业余爱好者可以在河豚外套中产生教皇这一事实不仅意味着AI生成的形象可以作为真实的形象传递，而且相反：合理的摄影证据可以被合理地抹黑。萨利巴说，这不仅是关于检测虚假的事实，而且证明现实。”比赛正在开发一种可以准确，可靠地进行区分的工具。

大约在这个时候，她遇到了一位名叫Hany Farid的计算机科学家。萨利巴（Saliba）在一次加利福尼亚州伯克利大学（Universition of Berkeley）的举办的加利福尼亚州举行的举行报告中，萨利巴（Saliba）与他谈到了AI生成的内容可能在即将举行的总统大选中构成的威胁。她还对自己对迅速探测的蓬勃发展领域的贡献感到着迷。她说，他确实是数字取证的父亲，这是理解图像操纵的艺术。”萨利巴（Saliba）在他们的工作中看到了自然的一致性。

几十年来，Farid一直在探索使用计算技术来检测照片的数字操作。由于最近在机器学习方面取得了突破，他将重点转移到了模型上，这些模型可以检测出AI生成的图像的典型视觉上不一致：例如，透视和光线的奇怪性，导致尺度或过度的阴影扭曲，可能很难与肉眼相处。萨利巴认为，如果可以将这种模型变成可访问的工具，Farid的工作对记者来说将是一项很好的财富。” 

他们保持联系。在几年之内，Farid成立了一家名为GetReal的公司，为客户提供了AI检测服务，包括在视频会议期间的实时深击检测。萨利巴（Saliba）离开了美国广播公司（ABC），并加入了法里德（Farid）的行动，以帮助优化新闻编辑室使用的GetReal。萨利巴说：``我想成为一个正在努力证明内容的真实性和完整性的团队的一员。”

检查GetReal的网站或过去几年中浮出水面的数十个AI检测服务中的任何一个，以获取图像和文字，并且很容易消除乐观。GetReal宣称，防止图像，音频和视频深击和模仿者损害您关键任务工作流的真实性。Hive Mederation网站是另一种用于监视众包内容的工具，大胆地宣称：他们说这无法解决。我们解决了它，并保证其模型提供了一种具有人级准确性的自动解决方案。另一个工具混乱地命名为无法检测的AI，声称该工具可确保您可以信任您所看到的。

但是，根据布法罗大学计算机科学教授Siwei Lyu的说法，他的作品着重于深击检测，现实并不是那么简单。随着检测AI的技术的提高，AI的忠诚也会得到改善。需要不断更新检测模型以说明这一点。他说，AI技术的进步非常快。如果探测器在培训数据集中看到新的数据类型，则探测器将过时。换句话说，生成的AI是一个移动的目标。 

然后，最险恶的合成图像和视频是作为骗局的一部分或故意混淆和误导公众创建的，专门设计用于逃避检测。每当使用其软件生产媒体时，就嵌入了水印，以鼓励AI发电机（例如OpenAI）来鼓励AI发电机，以使故意操纵更加困难。2023年，乔·拜登（Joe Biden）发行了行政命令是为了促进这一步骤。但是，在这些算法的另一面是真实的人。他们变得非常擅长隐藏自己的痕迹。保证将内容标记为AI创建或修改的内容，但最近的研究从澳大利亚和韩国的研究人员那里发现，即使是最好的模型也只能成功地检测出大约三分之二的AI生成的内容。 

有时，社交媒体上的新闻报道会诱饵。去年5月，War_monitors是一个X帐户，该帐户发布了有关超过一百万人的观众的突破新闻和政治的文章，重新发布了一张声称在五角大楼描绘爆炸的照片，金融新闻账户Financialjuice也是如此，随后是超过50万。（为了提醒人们真正的新闻严峻的重要性，后者认为适合引用Twitter来源，“没有其他指定，因为其信息的起源。）一旦当地消防局进入社交媒体来揭开照片的揭幕，这两个帐户都删除了他们的帖子。同时，该事件已在X近四千次上转发或提及，并在股市中引起了下跌。（另一个作为CNN分支机构的验证帐户也发布了图像，该图像提出了有关X验证过程的问题。随后将帐户从平台中删除。） 

在一个可以以面值拍摄照片和视频的世界中，我们可能无法仅仅依靠技术来解决自己的创作问题。全国媒体扫盲教育协会（NAMLE）副主任唐内尔·普罗伯斯特（Donnell Probst）说，对话中缺少的一件事是教育文章。Namle是一家非营利组织，它创建了旨在帮助孩子们学习如何评估其在线遇到事物的合法性和起源的资源，包括AI生成的图像和视频。Probst告诉我，这一点不是验证工具没有价值。相反，Namle专注于建立人类计算机的伙伴关系，而不是依靠技术外包我们的批判性思维。” 

对于成年人来说，这也是一种有用的方法。考虑救生衣中的小女孩的形象抓着她的狗是一种ai生成的视觉，在海伦飓风之后，它在2024年9月在美国东南部袭击了美国东南部。它很难首先出现，但由于造成了一系列的自然灾害和泛滥的视频，因此在造成的洪水造成的任何事物中，它在造成的任何疾病中都散发出来，这是由于造成的。发生了，AI。不久之后，这张照片被揭示为假货，但无论如何人们一直在分享它。我不在乎，有人发表在X上。另一个并不重要。在某个时候，记者的负担不仅验证了图像是可信的，而且说服人们关心现实。

同时，Lyu认为，即使不良演员可能总是设法解决它，投资AI检测技术仍然很重要。我们要在这里做的是提高标准，以便不会在屏幕上只需单击几下，就可以做一些数百万人会落在的东西。”我们希望它越来越难。这不是我们可以放弃的战斗。

Saliba可能对AI的正义力量更有信心。但是，即使她也没有幻想，因为软件可以为新闻编辑室提供一个单一的答案，以决定是否合成某种媒体是合成的。她认为，在新闻工作者与目击者媒体合作时使用的更广泛的验证系统中，GetReal仅是一层确认层。她说，这是我们工具箱的一部分。她补充说，如果我们可以相信我们所看到和听到的，我认为我们的社会处于严重的危险中。”

与TBWA \ chiat \ Day合作查看我们的AI问题和我们的广告系列的更多报道这里。