安全领域最大的未知数是人工智能的对抗性使用。它有可能颠覆当前的现状，为攻击者提供新的优势。我们仍然不知道这种情况是否、何时或如何发生。
真正的问题是人工智能威胁是否是深度造假，或者深度造假是否就是人工智能威胁。
正如我们无法防御我们看不到的地方一样，我们也无法防御我们不理解的东西。人们对人工智能的现状仍然存在很多困惑。
黑莓试图通过其所描述的人工智能教育白皮书 (PDF) 来澄清这一点，以及其最明显的威胁 Deepfake。
对于任何需要人工智能和深度造假入门知识的人来说，黑莓论文的价值是显而易见的。例如，它解释了机器学习（通常在安全产品中使用）和大语言模型更广泛的用途和潜力之间的区别。以 OpenAIs ChatGPT 为代表但不限于 LLM 的可用性及其巨大且仍在扩展的功能，使得它们几乎不可避免地会被用于恶意目的。
黑莓表示：最令人惊讶的之一生成式人工智能模型的一个方面是它们的多功能性。当提供足够的高质量训练数据时，成熟的模型可以产生接近人类创造力的输出。例如，他们可以写诗歌或戏剧、讨论法律案件、针对特定主题集思广益、编写计算机代码或音乐、撰写研究生论文、为高中课程制定课程计划等等。目前对其使用的唯一限制是（讽刺的是）人类的想象力。
这种多功能性现在已超出了文本范围。黑莓继续说道，Midjourney、DALLE 和 Stable Diffusion 是基于人工智能的文本到图像生成器的例子。用户可以要求生成器使用传统艺术家使用的任意数量的不同参数来创建图像，例如特定的风格、情绪或调色板。
和视频。2024 年 2 月，OpenAI 通过其新的 Sora 文本到视频 AI 模型制作了示例视频 (YouTube)。文本提示以 64 个单词开头：一位时尚女性走在充满温暖霓虹灯和动画城市标牌的东京街道上
新恶意软件也是来自 gen-AI 的潜在威胁。黑莓论文在这一领域有所限制，主要关注自动多态性的可能性，以加快改进规避和隐形技术并击败基于签名的检测。未来，我们还可以期望 gen-AI 开发出新的、可能是先进的恶意软件。
然而，我们期望人工智能带来的所有当前公认的网络安全威胁有一个共同的特征：没有什么新的。网络钓鱼、深度伪造和恶意软件都早于 ChatGPT 革命数十年，我们已经发展了针对它们的防御措施。所发生的变化只是攻击的速度、规模和质量，但这不是一个小问题。
恶意软件威胁可能是最容易理解的，也是最容易理解的。理论上至少可以反驳。我们必须用人工智能打败人工智能：我们必须减少对签名检测的依赖；我们必须通过行为来检测恶意软件；我们必须检测所产生的异常入侵的其他迹象。我们已经在这样做，主要是通过机器学习。
BlackBerry 论文使用 Cylance AI 作为示例。（黑莓在 2018 年宣布打算以 14 亿美元收购 Cylance，并于 2019 年收购了 Cylance。）它已经学会了如何根据恶意软件的属性发现商品和独特的恶意软件，并在其造成损害之前将其关闭、预先执行。
人工智能产生的深度伪造品和人工智能改进的网络钓鱼是一个更大的问题。Deepfakes 有两种类型：语音和图像/视频；现在，这两者都通过现成的人工智能模型迅速提高了商品产出，并且人类或技术都不容易检测到。
网络钓鱼是一个尚未解决的问题；随着人工智能技术的复杂性提高和工业规模的增加，情况可能会变得更糟。到目前为止，除了少数孤立的例子外，几乎没有证据表明犯罪分子广泛涉足这一领域。直到最近。
2024 年上半年的异常电子邮件威胁分析指出，网络钓鱼即服务工具包和 gen-AI 的结合将导致攻击量升级。文件共享攻击数量已同比增长 350%。
最近（2024 年 8 月 29 日），Netcraft 报道了利用 gen-AI 创建欺诈网站的情况，从 7 月 6 日开始的 30 天内增加了 5.2 倍，仅 7 月份就增加了 2.75 倍。
此类报告的含义是，期待已久的 gen-AI 生成的网络钓鱼激增即将到来的犯罪分子似乎一直在学习如何最好地利用这个新机会。
当犯罪分子也掌握了大规模生产人工智能生成的深度伪造语音、图像和最终视频的能力时，真正的问题就会出现。将所有内容组合成一个单一的深度伪造网络钓鱼攻击类型。经济激励存在于大规模凭证网络钓鱼以及更有针对性的 BEC 和 VEC 攻击中。然后是影响力激励损害品牌和影响选举的能力。坦率地说，我们还没有看到任何东西。
如果留给自己的设备，更多的人将容易受到深度伪造网络钓鱼的影响，因为更好的文本由已知的声音支持，并且可能是已知人的图像或视频（朋友，亲戚或老板）会在潜意识中减少怀疑。
安全行业不会坐等大坝决堤。2024 年将会有许多新的初创公司都在致力于开发自己的解决方案来检测人工智能和 Deepfake 攻击，而现有公司则重新专注于 Deepfake 检测。Pindrop 就是后者的一个例子。2024 年 7 月，它筹集了 1 亿美元的债务融资，主要用于开发能够检测 Deepfake 语音攻击的其他工具。
Deepfake 语音是最容易生产、使用最多且最容易检测的 Deepfake 语音。这是因为有一些微妙的听觉线索表明声音不是人类发出的，即使人耳无法检测到，也可以通过技术检测到。不使用检测技术的地方就存在危险。
对于当前一代人工智能增强型多态恶意软件检测系统来说也是如此：它们可以工作，但仅限于使用它们的地方。
其他人工智能威胁检测系统也将在一定程度上发挥作用，但仅限于使用它们的地方。这就是商业的本质：公司开发防御措施并将其出售给其他公司。在他们工作的地方，他们只为购买这些特定产品的公司工作。
有许多反网络钓鱼解决方案，其中许多在使用时都是有效的。但我们还没有消除网络钓鱼威胁。主要原因是网络钓鱼是一种全球性的社会威胁，而不仅仅是一种可以通过单独的业务解决方案应对的业务威胁。即使在当前地缘政治反感的时代，商业也已全球化。每个企业都会有数十个甚至数百个供应链合作伙伴。每个企业可能都有防御措施，但供应链可能没有。每个企业都可能有远程员工，为了速度和效率，他们有时可能会绕过公司的防御程序。
如果我们今天无法阻止网络钓鱼，而我们也没有这样做，那么阻止自动深度伪造的机会就很小。-大规模的大规模网络钓鱼和人工智能类固醇的增强即将到来。答案不是出售给个体企业的个体解决方案，而是全球性的社会解决方案。它必须基于我们收到的通信来源中经过验证的信任概念。
这并不容易。它必须是概念性的，而不仅仅是技术性的。我们已经做了这样的尝试：零信任、MFA、用户意识培训等。他们都没有进行过网络钓鱼，凭证盗窃和滥用行为也没有杜绝。有了人工智能时代，这种威胁很快就会变得更加严重。我们需要的不是检测系统（尽管检测系统仍然很重要），而是基于信任的预防系统。如果信任没有得到准确、立即的验证，则阻止通信。但在全球社会范围内；不同公司的方法不同，每个公司都有不同的解决方案。
在 AI 风险峰会上了解更多信息
相关：AI 狂野西部：揭开 GenAI 应用程序的安全和隐私风险
相关：Bolster 筹集 1400 万美元用于人工智能驱动的网络钓鱼防护
相关：Cloudflare 推出人工智能安全解决方案
相关：人工军备竞赛：自动化和自动化能做什么人工智能如何推进红队
相关：为互联资产生态系统中的人工智能驱动的恶意软件做好准备的 5 个关键步骤