人工智能热潮推动了对机器学习安全运营技能的需求

2024-10-11 23:49:51 英文原文

作者:Dark Reading StaffDark ReadingDark Reading is a leading cybersecurity media site.

公司将“AI”应用于几乎所有产品中,这开启了新的安全漏洞。LLM安全运维和ML安全运维正变得必不可少。

The words "skills gap" in a green cloud against a dark background.

来源:Designer491 via Alamy Stock Photo

随着评估人工语言对企业资产风险的重要性日益增加,组织越来越希望寻找具备机器学习和大型语言模型技能的求职者来填补网络安全职位。在ISACA的报告中,2024年网络安全状况报告,接近四分之一的受访者(24%)认为大型语言模型安全运维(LLM SecOps)和机器学习安全运维(ML SecOps)是他们在网络安全领域看到的最大技能缺口。根据51%的受访者的观点,软技能——沟通、灵活性和领导力——仍然是网络安全专业人士最缺失的技能类别。

求贤:LLM、机器学习技能

_BOTH_LLM_SecOps和ML_SecOps都是一些相对较新的技能集,但就像它们所保护的技术一样,如今似乎到处都能看到这些技能。_原文在翻译中保留了大写格式以便保持一致,但实际上应为:LLM SecOps 和 ML SecOps 都是相对较新的技能集,但就像它们所保护的技术一样,如今似乎到处都能看到这些技能。

MLSecOps 是将安全集成到机器学习系统开发和部署中的学科。它涵盖了特定于 ML 的过程,例如保护用于训练模型的数据并通过透明度防止偏见,以及在 ML 系统中应用标准的安全操作任务,如安全编码、威胁建模、安全审计和事件响应。

LLM安全运维指的是确保大规模语言模型的整个生命周期的安全性从数据准备到事件响应,LLM SecOps涵盖了设计阶段的伦理审查、训练数据的数据清洗、分析系统在训练过程中做出决策的原因、阻止生成有害内容以及模型部署后的监控等各方面的关注点。

有一份不断增长的资源列表,旨在帮助安全专业人士提升他们的技能。对于ML SecOps,电信提供商Telstra的信息安全高级专家兼AI安全研究员Benjamin Kereopa-Yorke维护着这样一个列表。 GitHub资源和培训仓库,课程按所需先验机器学习知识分类,并分为与供应商无关或以供应商为中心。开放 worldwide 应用安全项目(OWASP)有一个草案机器学习安全十大要点列出描述诸如数据投毒或成员推断等ML攻击的工作原理以及如何应对这些攻击的说明。OWASP还维护着LLMs的OWASP十大安全风险,涵盖与大规模语言模型安全运营(LLM SecOps)相关的话题等提示注入, 敏感信息泄露,和模型盗用.

组织正在寻找特定技能来填补开放的网络安全职位。在软技能之后,云计算是第二大技能缺口(42%),其次是安全控制实施(35%)和软件开发(28%)。

随着组织的大量工作负载现在都迁移到了云端,显然组织需要具备云计算技能的安全专家。保护云资产所需的思维和专业技术不同于传统的网络技术,并且云供应商处理某些任务的方式也不同,这要求专门的知识。

安全控制的实施是指保护端点、网络和应用程序。软件开发中的技能缺口并非与编码相关,而是诸如测试和部署等方面的问题。再次强调,这凸显了组织在保障其软件开发管道和集成安全性方面所面临的挑战。

关于作者

Dark Reading Staff

可能你还喜欢


关于《人工智能热潮推动了对机器学习安全运营技能的需求》
暂无评论

摘要

公司将“AI”添加到几乎所有产品中,这打开了新的安全漏洞。对于机器学习安全操作(ML SecOps),澳大利亚电信公司Telstra的高级信息安全专家和AI安全研究员Benjamin Kereopa-Yorke维护了一个GitHub资源库和培训项目,课程按所需的先前机器学习知识分类,并被划分为与供应商无关或以供应商为中心的类别。组织正在寻找特定技能来填补开放的网络安全职位。在软技能之后,云计算是第二大技能缺口(42%),其次是安全控制实施(35%)和软件开发(28%)。由于组织的大部分工作负载现在都存在于云端,因此需要具备云计算技能的网络安全专业人员是有道理的。软件开发方面的技能差距并非与编码相关,而是诸如测试和部署等方面的问题。