人工智能今天有什么好处，它的下一个大型网络安全用例可能是什么？
周四在伦敦举行的年度黑帽欧洲会议上，人工智能现实与炒作的主题主导了闭幕小组讨论。该小组由会议创始人 Jeff Moss 和会议审查委员会成员组成，他们帮助评估了会议今年收到的数百份提交材料，并批准了其中约 50 份。
审查委员会成员表示，今年，质量参差不齐的人工智能主题提交内容占据主导地位。有些通过了集合。其他内容包括“人工智能撰写的人工智能演讲，因此我们不得不拒绝它们”，也是 OWASP 董事会成员的 Vandana Verma 说。人工智能生成的提交内容质量较差，很容易被发现。
被接受的论文支撑了从漏洞发现和网络安全到隐私和事件响应等各个方面的简报。会议还包括“人工智能、机器学习和数据科学”分会场，共有八个分会场。这些研究深入探讨了一系列主题，包括将生成式人工智能代理转变为它所服务的应用程序；从训练集中获取信息的难度；隐私问题；使用LLM代码助手来帮助开发人员而不暴露敏感信息的工具；一家大型金融机构详细介绍了其使用数据分析来简化某些业务流程的情况（请参阅：伦敦黑帽欧洲 2024 预览：20 场热门会议）。
网络安全：由流行词提供支持
鉴于人们对该主题感兴趣，是否是时候发起“黑帽：人工智能”会议了？莫斯说，他最近听到了这个问题，并回答道，之前引起人们极大兴趣和关注的话题，例如移动和后来的云，在变得“有点深入人心”之前似乎占据了一段时间。
他预测人工智能也会发生同样的情况。“展厅里每个人的产品都包含人工智能，但四年后他们说‘现在有了人工智能’听起来会很奇怪，对吧？”他说。
文达纳表示，近年来热门的独立话题，包括零信任和供应链漏洞，现在在相对较少的拟议简报中出现。对于每一个新的流行语，供应商都会声称他们“由它驱动”，尽管这意味着什么并不一定清楚。
从研究的角度来看，“我们选择的绝大多数演讲并不是关于将法学硕士应用于某件事，因为它们将成为我们拥有的工具的一部分，但它们不会取代我们拥有的所有工具，”说Stefano Zanero，米兰理工大学网络安全教授。
从主题上讲，“很多关于人工智能的讨论都是更笼统的讨论，从某种意义上说，如果你攻击法学硕士进行即时注入，你只是在利用一个产品，”安全专家詹姆斯·福肖 (James Forshaw) 说。谷歌零号项目的研究员。
杀手级用例：下一步是什么？
自 ChatGPT 于 2022 年 11 月首次公开使用以来，大型语言模型的使用似乎已经激发了公众的想象力。Moss 表示，到目前为止，用例似乎主要集中在它作为一个预测引擎，其功能类似于“超级自动完成”，类似于 Microsoft Clippy 2.0 版本。
他说，从商业角度来看，人工智能的进步将“使这些预测变得越来越快、越来越便宜”。因此，“如果我从事安全业务，我会尝试让所有问题都成为预测问题”，这样它们就可以通过使用预测引擎来解决。
这些预测问题到底是什么仍然是一个悬而未决的问题，尽管 Zanero 表示其他好的用例包括分析代码和从非结构化文本中提取信息 - 例如，出于网络威胁情报目的分析日志。
“所以它加速了你的调查，但你仍然需要验证它，”莫斯说。
“大多数学生都忽略了验证部分，”扎内罗说。“我是根据经验这么说的。”
他说，验证挑战之一是人工智能的功能通常像一个非常复杂的黑盒 API，人们必须调整提示才能获得正确的输出。问题是：只有当您知道正确答案应该是什么时，这种方法才能发挥作用，从而验证机器学习模型正在做什么。
“所有机器学习中真正的问题领域——不仅仅是使用法学硕士——是如果你不知道答案，而你试图让模型为你提供以前没有的知识时会发生什么，”扎内罗说。“这是一个深入的研究工作领域。”
另一个人工智能挑战可能是训练数据的年龄。Moss 提供了一个 Python 代码编写示例，引用了多个案例，人们使用 gen AI 快速编写可用的 Python 代码，却发现生成的代码与当前实践相比可能已经过时了六年或更长时间，因为它是根据较旧的数据进行训练的。因此，虽然生成的代码可能很好地作为概念证明，但“它不是现代的”，并将其放在暴露于互联网的任何地方可能会产生安全影响，他说。
现在：增强工具
一位观众向小组提出了这样的问题：人工智能会取代网络安全工作，例如安全运营中心的一线分析师吗？
扎内罗引用了路易斯·C.K. (Louis C.K.) 的一个杜撰模因，其中说：“如果你认为一个不懂语言、没有人脉、没有学位的移民会抢走你的工作，那么也许就是你太糟糕了。”
预计人工智能的应用不是为了取代工作岗位，而是为了增强工作岗位。“这与我们在驾驶中看到的情况是一样的：自动驾驶不起作用，在可预见的未来也不会起作用，但对人类驾驶的辅助，让驾驶变得更安全、更容易，这已经存在了，”萨内罗说道。“至少在可预见的未来，人工智能也会发生同样的事情。”